1. 고대
한강에서 중국까지의 거리보다 서산에서 중국까지의 거리가 오히려 더 가깝기 때문에, 역사적으로 요충지 중 하나였다. 따라서 선사시대 유물들도 발굴됨은 물론이고, 마한이나 백제 시절 유물들이 많이 남아 있다. 대표적으로 용현리 마애여래삼존상과 보원사지 등이 있다.마한의 54개국 중의 하나로 태안에서 이동 형성된 신소도국(臣蘇塗國)과 현 대산읍, 지곡면 일대에서 발생한 치리국국(致利鞠國)을 서산의 기원으로 본다.
삼국시대에는 백제에 의해 마한 소국들이 정복되면서 부춘산 기슭에 오늘날 서산시의 모체인 기군(基郡)이 만들어졌다. 치리국국이 위치했던 지역에 지륙현(知六縣)이, 현 충청남도 태안군 태안읍 일대에 성대혜현(省大兮縣)이 설치되고 현 해미면, 운산면 일대에 여촌현(餘村縣)이 설치되는데 여촌현만 기군에 속하지 않고 현 당진시 면천면 일대에 설치된 혜군(槥郡)에 속했다.
백제가 멸망하고 당나라의 웅진도독부가 설치될 때는 서산 일대가 지심주(支潯州)에 속했고, 신라가 당군을 몰아낸 뒤로는 백제부흥운동 당시 주축이었단 이유로 신라군에 의해 초토화되었다.[1]
남북국시대 신라 경덕왕 때(755년) 한화정책으로 기군은 부성군(富城郡)으로, 지륙현은 지육현(地育縣)으로, 성대혜현은 소태현(蘇泰縣)으로, 여촌현은 여읍현(餘邑縣)으로 개칭된다. 893년(진성여왕 7년) 최치원(崔致遠)이 부성태수를 맡기도 했다.
2. 고려
고려 왕조 개창 후에도 처음에는 부성군이었다가 1143년(인종(고려) 21년) 부성현으로 격하된다. 1182년(명종(고려) 12년) 부성현령과 현위(縣尉)의 다툼이 심해 현을 폐하고 운주(運州)[2]에 이속시켰다. 1284년(충렬왕 10년) 서산군(瑞山郡)으로 부활하며 최초로 서산이라는 이름을 사용하게 된다. 1308년 서주목(瑞州牧)으로 승격, 다시 2년 뒤인 1310년 서령부(瑞寧府)로 바뀌었다.[3]3. 조선
조선 태종 때(1413년) 다시 서산군(瑞山郡)으로 이름이 바뀌었다.해미의 경우 태종 때(1407년) 정해현과 여미현을 통합해 해미현이라고 칭하게 되었으며, 1418년 병영(兵營)이 덕산(현 예산군 덕산면)에서 이전했다. 성종 때(1491) 해미읍성이 축성되었고, 효종 때(1621) 호서좌영(湖西左營)이 설치되었다.
1895년 23부제 실시에 따라 홍주부 산하 서산군, 태안군, 해미군으로 편제되었다.[6] 그 이후 1901년 오천군 신설에 의해 안면면이 오천군에 편입되었다가 1906년 다시 태안군에 흡수되었다.
4. 일제강점기
일제강점기인 1914년 4월 1일 부군면 통폐합에 따라 태안군, 해미군, 홍주군 일부(고북면)을 서산군에 병합해 충청남도 최대의 군으로 발족했다. 1917년 11월 6일 서령면이 서산면으로, 지성면이 해미면으로 개칭되었고, 1942년 서산면이 서산읍으로 승격되었다.
5. 대한민국
1995년부터 2016년까지 사용한 서산시 로고
1957년 대호지면, 정미면이 당진군에 편입되었다.[8]
1973년 7월 1일과 1980년 12월 1일에 각각 태안면과 안면면이 읍으로 승격되었다. 1983년 보령군 삽시도리 가운데 외파수도·내파수도·외도 등을 흡수하였다. 1989년 1월 1일 서산읍이 서산시로 승격됨과 동시에 태안군이 다시 분군되었다. 1991년 대산면을 대산읍으로 승격하였다. 1995년 도농복합시 시행으로 인하여 서산시와 서산군이 서산시로 통합되었다. 2011년 7월 4일 대산읍 독곳리를 독곶리(獨串里)로 개칭했다.
[1] 여기까지의 역사는 기록되지 않은 역사가 많다. 즉, 발굴에 의한 추측, 후대(남북국시대 ~ 고려시대) 기록, 혹은 구전에 의한 것이므로 실제와는 차이가 있을 수 있다.[2] 현 충청남도 홍성군.[3] 이 때문에 서산시에 '서령'이 들어간 것들을 많이 볼 수 있다. 서산시의 유일한 시내버스 회사인 서령버스가 있는가 하면, 서령초등학교, 서령중학교, 서령고등학교, 서령콜택시 등등...[4] 노란색(서산군): +.군내면 1.일도면 2.이도면 3.지곡면 4.성연면 5.두치면 6.동음암면 7.동암면 8.대사동면 9.오산면 10.율곶면 11.인정면 12.화변면 13.마산면 14.노지면 15.영풍창면 16.문현면 17.안면면[5] 초록색(해미군): 1.서면 2. 염솔면 3.일도면 4.이도면 5.부산면 6.동면 7.남면[6] 중간에 뻥 뚫린 부분은 홍주군 관할의 운천면. 1906년 해미군에 편입되었다.[7] 1.대산면 2.지곡면 3.성연면 4.음암면 5.운산면 6.지성면 7.고북면 8.서령면 9.인지면 10.부석면 11.팔봉면 12.대호지면 13.정미면[8] 그런데 이는 제4대 국회의원 선거를 앞둔 게리맨더링이라는 지적이 있다. 그러나 대호지면과 정미면은 지도를 보면 알겠지만 서산 시내(구 서산읍)보다는 당진 시내(구 당진읍)와 훨씬 더 가깝기 때문에, 당진군으로 넘어가는 게 낫다고 볼 수 있다. 게다가 현재 태안군까지 포함한 당시의 서산군은 1읍 19면의 초 거대 군이었으므로 이런 행정구역 개편은 합리적인 편이라 볼 수 있다.[9] 1.대산읍 2.지곡면 3.성연면 4.음암면 5.운산면 6.해미면 7.고북면 8.동 지역 9.인지면 10.부석면 11.팔봉면