古帝尧所都，为最初的中国。
禹贡冀州之域。
春秋属晋。
战国属韩。
秦为河东郡。
三国魏正始八年（247）置平阳郡，郡治平阳，属司隶校尉。
北魏改属晋州。
建义元年（528）州、郡治所移今临汾。
隋开皇三年（583）郡废，为晋州。
义宁二年（618）改平阳郡。
唐武德元年（618）改晋州，南部属绛州，西部置慈州、隰州。
天宝元年（742）改晋州为平阳郡，属河东道。
乾元元年（758）复名晋州。
后梁开平四年（910）升为定昌军，后改建宁军。
后唐同光元年（923）改建雄军。
宋初仍名晋州。
北宋政和六年（1116）晋州升为平阳府，属河东路。
金属河东南路。
元置平阳路总管府，属中书省山西宣慰司。
大德九年（1305）因地震改称晋宁路。
明洪武元年（1368）改平阳府，属山西承宣布政使司。
1912年废府州。
1913年属河东道。
1927年废道直属山西省。
1937年分属山西省第五、六、七行政区。
1948年属晋绥边区。
1949年初改属陕甘宁边区晋南区。
1950年为山西省临汾专区，专署驻临汾。
1954年属晋南专区，专署驻临汾。
1967年属晋南地区。
1970年属临汾地区。
1971年设县级临汾市，由临汾地区管辖。
2000年撤临汾地区和县级临汾市，设地级临汾市至今。