山西省地处华北西部的黄土高原东翼,地貌从总体来看是一个被黄土广泛覆盖的山地高原,整个轮廓略呈由东北斜向西南的平行四边形。地貌类型复杂多样,有山地、丘陵、高原、盆地、台地等,其中山地、丘陵占 80%,高原、盆地、台地等平川河谷占 20%。大部分地区海拔在 1000米以上,与其东部华北大平原相对比,呈现为强烈的隆起形势。最高处为东北部的五台山叶斗峰,海拔达 3058米,是华北最高峰;最低处为南部边缘运城垣曲县东南西阳河入黄河处,海拔仅 180米。境域地势高低起伏异常显著。
山西境内山峦叠嶂,丘陵起伏,沟壑纵横,总的地势是“两山夹一川”,东西两侧为山地和丘陵隆起,中部为一列串珠式盆地沉陷,平原分布其间。东部是以太行山为主脉形成的块状山地,由北往南主要有恒山、五台山、系舟山、太行山、太岳山和中条山等,其山势挺拔雄伟,海拔在1500米以上。西部是以吕梁山为主干的黄土高原,自北向南分布有七峰山、洪涛山和吕梁山脉所属的管涔山、芦芽山、云中山、黑茶山、关帝山、紫荆山、龙门山等主要山峰,海拔多在1500米以上,关帝山海拔最高达2831米。中部由北而南珠串着彼此相隔的大同、忻州、太原、临汾、运城等“多”字形断陷盆地,东南部还有较为独特的长治高原断陷盆地。全省主体轮廓很像一个“凹”字形。
境内中部及东南部的大同、忻州、太原、临汾、运城、 晋城、长治盆地,以及分布在东西太行吕梁山两山之间的中小盆地及河流谷地,为省内人口密集和经济发达的地区。