山西大学创办于1902年（清光绪二十八年），最初称山西大学堂，设中学专斋和西学专斋，由英国人李提摩太和山西巡抚岑春煊共同创办。校址在太原市侯家巷（现太原师范专科学校）。
民国元年（1912年）初改名为山西大学校。
民国七年（1918年）确定为国立山西大学。
1931年改名为山西大学，抗战期间，曾迁至晋南、陕西三原、秋林等地，于1937年至1939年停办。
1949年春，中国大学理学院并入山西大学。中华人民共和国成立初期，山西大学设有文、理、医、工、法五个学院，进步学者邓初民任校长。山西大学法学院法律系于1949年并入北京大学。
1952—1953年，全国高校进行院系调整，山西大学院系调整如下：
①取消山西大学建制；
②文、理两院（含中文、历史、外语、教育、数学、化学、生物7个系及中文、史地、数学、理化、生物、体育5个专修科）合并，改称山西师范学院；
③工学院（含土木工程、采矿工程、冶金工程、化工工程、机械工程、电机工程、纺织工程7个系）中冶金工程系参与组建新成立的北京钢铁工业学院（今北京科技大学），纺织工程系和采矿工程系并入西北工学院（今西北工业大学）；工学院其余部分（机械工程、电机工程、土木工程、化工工程4个系）独立建校，后发展成为太原理工大学。
④医学院（含医学系）独立建院（今山西医科大学）；
⑤法学院改称财经学院（含经济、工商管理、会计3个系），后划归入中国人民大学；
1954年，山西师范学院（山西大学前身）由太原市侯家巷迁入太原市坞城路。
1959年，再度恢复山西大学建制。
1961年，与山西师范学院合并，仍定名为山西大学。
1962年，山西体育学院、山西艺术学院并入山西大学。
1998年，成为山西省重点大学。
2001年，山西大学成立研究生学院。
2002年5月，学校举行建校100周年庆典大会。时任联合国秘书长安南发来贺信，感谢山西大学对联合国的支持。
2005年5月，成为山西省唯一一所由山西省人民政府与教育部共同重点建设的省部共建大学，是我国最早一批省部共建大学。
2008年11月，学校与亚美尼亚“布留索夫”埃里温国立语言大学组建埃里温国立语言大学孔子学院。
2009年11月，学校与美国北卡州费佛尔大学联合组建费佛尔大学孔子学院
2011年6月，山西大学研究生学院正式更名为“山西大学研究生院”。
2012年5月，入选“中西部高校基础能力建设工程”高校。
2012年11月，成为山西省唯一一所国家“中西部高校综合实力提升工程”入选高校，进入“一省一校”国家建设有特色、高水平大学的新平台。
2013年9月13日，山西省发展和改革委员会发布“关于山西大学东山校区项目建议书（总体规划）的批复”，标志着山西大学东山校区的建设已通过政府的审批。
2014年2月，太原电力高等专科学校并入山西大学，成为山西大学大东关校区。
2015年1月28日，学校“极端光学协同创新中心”成立。
2017年6月，学校被认定为山西省首批省级双创示范基地。
2017年8月，学校入选教育部“高校教师考核评价改革示范校”。
2018年，在省部共建和“一省一校”建设基础上，学校成为教育部和山西省政府合建的部省合建高校。
办学条件
院系专业
据学校官网2018年5月信息显示，学校有32个学院（系）、以及1个独立学院、1个继续教育学院和国际教育交流学院，涵盖哲学、经济学、法学、教育学、文学、历史学、理学、工学、农学、医学、管理学、艺术学等全部学科门类，设93个本科专业以及10个本科双学位招生专业。
| 院系设置 |
|---|
山西大学初民学院 | 山西大学文学院 |
山西大学历史文化学院 | 山西大学哲学社会学学院 |
山西大学政治与公共管理学院 | 山西大学外国语学院 |
山西大学教育科学学院 | 山西大学经济与管理学院 |
山西大学法学院 | 山西大学数学科学学院 |
山西大学计算机与信息技术学院 | 山西大学物理电子工程学院 |
山西大学化学化工学院 | 山西大学生命科学学院 |
山西大学环境与资源学院 | 山西大学体育学院 |
山西大学音乐学院 | 山西大学美术学院 |
山西大学继续教育学院 | 山西大学国际教育交流学院 |
| 山西大学软件学院 | 山西大学环境工程系 |
| 山西大学自动化系 | 山西大学电子信息工程系 |
| 山西大学电力工程系 | 山西大学工程管理系 |
| 山西大学土木工程系 | 山西大学动力工程系 |
| 附属机构 |
| 山西大学附属中学 | 山西大学附属小学 | 山西大学附属幼儿园 |
独立学院 |
山西大学商务学院 |
联合办学 |
| 山西大学生物工程学院 | 山西大学职业技术学院 |
折叠历任校长
| 历任校长 | 姓名 | 时间 |
|---|
| 第一任 | 姚文栋 | （1902年3月-1902年5月） |
| 第二任 | 沈敦和 | （1902年5月-1906年7月） |
| 第三任 | 杨熊祥 | （1904年春-1905年) |
| 第四任 | 傅岳棻 | （1905年9月-1906年8月） |
| 第五任 | 丁宝铨 | （1906年7月-1907年春) |
| 第六任 | 解荣辂 | （1906年8月-1909年9月） |
| 第七任 | 渠本翘 | （1909年9月-1910年3月） |
| 第八任 | 胡钧 | （1910年3月-1912年2月） |
| 第九任 | 李镜蓉 | （1912年2月-1912年5月） |
| 第十任 | 高时臻 | （1912年5月-1916年5月） |
| 第十一任 | 田应璜 | （1916年5月-1916年8月） |
| 第十二任 | 高时臻 | （1916年8月-1918年8月） |
| 第十三任 | 王录勋 | （1918年8月-1937年11月） |
| 第十四任 | 冯纶 | （1939年10月-1939年12月） |
| 第十五任 | 阎锡山 | （1939年12月-1943年4月） |
| 第十六任 | 王怀明 | （1943年4月-1946年6月） |
| 第十七任 | 徐士瑚 | （1946年6月-1949年7月） |
| 第十八任 | 邓初民 | （1949年9月-1953年12月） |
| 第十九任 | 梁园东 | （1953年12月-1958年6月） |
| 第二十任 | 杨蕉圃 | （1958年6月-1959年9月） |
| 第二十一任 | 焦国鼐 | （1973年-1980年) |
| 第二十二任 | 甄华 | （1980年2月-1981年4月） |
| 第二十三任 | 陈舜礼 | （1982年4月-1983年9月） |
| 第二十四任 | 程人乾 | （1984年3月-1987年12月） |
| 第二十五任 | 李旦初 | （1987年10月-1988年12月） |
| 第二十六任 | 李镇西 | （1988年12月-1991年) |
| 第二十七任 | 彭堃墀 | （1991年6月-2000年10月） |
| 第二十八任 | 郭贵春 | （2001年-2012年8月20日) |
| 第二十九任 | 贾锁堂 | （2012年8月21日－） |
