距今6000年前，上海地区冈身（今外冈、方泰、马桥、邬桥、胡桥、漕泾一线）以西地区已经成陆。松江、青浦的汤村庙、姚家圈、广富林等地，考古发现新石器文化遗址，表明6000年前先民已在上海冈身以西地区生息。遗址中还发现商、周时代遗物。

上海地区，春秋属吴。战国先后属越、楚，在春申君封地范围内。约至春秋时期，海岸线达今嘉定-莘庄-南桥一线。魏晋时期，海岸线达今宝山-周浦和浙江省王盘山一线。

南宋嘉定十年十二月初九（1218年1月7日）立嘉定县。上海大陆地区分属两浙西路嘉兴府华亭县和平江府嘉定县，崇明地区属淮南东路通州海门县。

元至元二十九年（1292年）立上海县。县治在今黄浦区中华路、人民路环线以内，县域约当今闵行区、浦东新区南部、青浦区北部、市区大部。松江府辖华亭、上海二县。

1927年7月7日，上海特别市成立，直辖于中央政府，上海始有直辖市一级建置。全市境遇规划为上海县全境和宝山、松江、青浦、南汇等县局部，共30个市乡。

1949年5月27日上海解放。28日，上海市人民政府成立。上海市为中央直辖市，设黄浦、老闸、邑庙、蓬莱、嵩山、卢湾、常熟、徐汇、长宁、普陀、闸北、静安、新成、江宁、北站、虹口、北四川路、提篮桥、榆林、杨浦等20个市区及新市、江湾、吴淞、大场、新泾、龙华、洋泾、高桥、真如等10个郊区，共30个区。

后几经改革，现下辖16个区1个县。