濟南是國務院公布的歷史文化名城。因地處古四瀆之一“濟水”（故道為今黃河所據）之南而得名。據考古發掘資料，遠在9000年前的新石器時代早期，已有先民在此繁衍生息。距今4000～4500年前以磨光黑陶為特征的“龍山文化”，系因1928年首次發現于濟南東郊龍山鎮而被命名。夏代，龍山鎮城子崖一帶建有較大規模的城市。商周時代，濟南為古譚國（東方方國，都城在今城子崖、平陵城一帶）地。春秋戰國時代，濟南屬齊國，稱“濼”“鞍”“歷下”等邑，為齊國西南邊陲重鎮。秦代，地屬濟北郡（郡治博陽，即今泰安）。

西漢始置濟南郡，郡治東平陵（今濟南市章丘平陵城）。漢文帝十六年（前164年），設濟南國，首府東平陵。前154年，廢濟南國，復置濟南郡。漢武帝時，濟南郡轄東平陵、歷城等14縣，屬青州刺史部。東漢建武十七年（41年），濟南郡復稱濟南國，轄14縣，后改轄10縣。

魏晉南北朝時期，朝代屢屢更替，濟南先后為魏、西晉、后趙、前燕、前秦、后燕、南燕、東晉、劉宋、北魏、東魏、北齊、北周轄境，置郡置國，變化頻繁。其間，濟南郡治于西晉永嘉末年（313年前）從平陵（即東平陵）遷至歷城。從此，今濟南市區成為歷代郡國、州府的行政中心。劉宋元嘉九年（432年）在濟南郡僑置冀州，濟南為州、郡兩級治所。北魏皇興三年（469年），改僑冀州為齊州，轄濟南郡、東魏郡、太原郡等6郡35縣。

隋開皇三年（583年）撤郡并縣，齊州仍治濟南，轄歷城等10縣。大業三年（607年）齊州改稱齊郡。唐朝建立后，復稱齊州，轄歷城、章丘、長清等6縣。唐中葉天寶年間，齊州曾一度改稱臨淄郡、濟南郡。五代時期，仍稱齊州，先后為梁、唐、晉、漢、周的轄境。北宋，齊州先后屬京東路和京東東路。政和六年（1116年），齊州升為濟南府，轄歷城、章丘、長清等5縣。建炎二年（1128年）后，被金朝所據，仍為濟南府，轄7縣，屬山東東路。其間，曾一度為原濟南知府劉豫建立的偽齊轄境。元初，改為濟南路，直隸于中央中書省。至元二年（1265年），轄棣州、濱州2州及歷城、章丘、濟陽、商河等11縣。金元時期，濟南先后為金山東東西路提刑司、元山東東西道肅政廉訪司治所，是山東地區的監察中心。

明初，復稱濟南府，轄泰安、德州、武定、濱州4州及歷城、章丘、長清、濟陽、商河等26縣。洪武九年（1376年），山東最高行政機關“承宣布政使司”由青州遷至濟南，濟南成為山東省會，全省政治、軍事、經濟、文化中心，全國重要的中心城市之一。清初，沿明朝建置。雍正二年（1724年）、十二年（1734年）調整區劃，濟南府改轄德州和歷城、章丘、長清、濟陽等1州15縣。

民國初年，撤銷濟南府，置岱北道，轄27縣。1914年岱北道改稱濟南道，轄縣未變。1925年改轄歷城、章丘、長清、濟陽等10縣。1929年7月，析歷城縣城廂及其四郊，正式設立濟南市。時濟南市面積175平方公里，人口40余萬。1948年9月，中國人民解放軍華東野戰軍解放濟南，設立濟南特別市。1949年5月復稱濟南市。

中華人民共和國建立后，經歷了漫長的原始、奴隸、封建社會的濟南，開始進入社會主義新時代。1958年，歷城縣劃歸濟南市。其后，章丘、長清縣于1978年，平陰縣于1985年，濟陽、商河縣于1990年陸續劃歸濟南市管轄。1994年2月，濟南市被正式確定為副省級城市。2016年12月，章丘撤市設區。2018年9月，濟陽正式撤縣設區。2018年12月26日，國務院批復同意山東省調整濟南市萊蕪市行政區劃，撤銷萊蕪市，將其所轄區域劃歸濟南市管轄；設立濟南市萊蕪區，以原萊蕪市萊城區的行政區域為萊蕪區的行政區域；設立濟南市鋼城區，以原萊蕪市鋼城區的行政區域為鋼城區的行政區域。濟南目前共設10區、2縣。

濟南歷史悠長，人才輩出。屬今濟南市籍的歷史名人主要有：中國傳統醫學的杰出代表、戰國時代神醫“扁鵲”（本名秦越人），中國古代陰陽五行學說的創始人、戰國思想家鄒衍，口授今文《尚書》28篇于世的漢代學者伏生，請纓出使南越、為祖國統一事業做出貢獻的漢代外交家終軍，隋末農民大起義的起義軍領袖杜伏威、輔公祏，唐朝開國功臣、一代名相房玄齡和名將秦瓊，中國古代三大求法高僧之一唐人義凈（俗名張文明），宋代中華詞壇“婉約派”代表李清照、“豪放派”代表辛棄疾，金元散曲家張養浩、杜仁杰，宋、遼、金三部正史的總裁官張起巖，明代文壇前“七子”之一邊貢、后“七子”之一李攀龍，明《寶劍記》等劇的作者、戲曲家李開先，明萬歷年間文學為一時之冠的內閣大學士于慎行，清經學家張爾岐，清《四庫全書》主要編纂人、藏書家周永年，古文獻學家、清《玉函山房輯佚書》的纂輯人馬國翰，近代民族實業家、“祥”字號商業的代表人物孟洛川等。