遗址表明，在旧石器时代晋州已有了人类繁衍生息。

尧、舜、禹都曾在晋州境内建都立业。中国历史上第一个奴隶制国家政权夏朝建立在晋南。

商代，晋州是商的主要统治区。周代，晋国由晋州境内崛兴。晋文公曾为春秋五霸之一。

秦、汉、魏、晋时期，晋州在政治、军事、经济、文化等各个方面，都起着举足轻重的作用。

南北朝时期，晋州是北朝统治的中心地带，北魏曾以平城为都，东魏、北齐