祝日法に記載されている祝日の趣旨として、
春分の日: 「自然をたたえ、生物をいつくしむ。」
秋分の日: 「祖先をうやまい、なくなった人々をしのぶ。」
とあります。
秋分の日の記載が分かりやすいですが、要するに春分の日、秋分の日とは「お彼岸」なんです。
ご先祖様のお墓参りする日なんで、休みにしておいた方が行きやすいから祝日になっているのです。
とはいえ、「お彼岸」は仏教行事であり、戦後、政教分離の大原則のもと、特定宗教の宗教行事の日を公的な祝日とはしないことにしていますから、表立ってそうは言えませんが。
夏至・冬至には、そういった行事がないので祝日にはなっていません。
直接的には、現在の「春分の日」「秋分の日」は、戦前の「春季皇霊祭」「秋季皇霊祭」がもとになっています。
戦前は、皇室での神道行事の日を公的な祭日とすることがよくあり、皇霊祭もその一つです。
皇室の近いご先祖様については、個別に命日にお祀りしていましたが、遠いご先祖様までいちいちそうしていると切りがないので、
皇霊祭の日にまとめて全員お祀りしましょうという行事です。
これも、おそらく皇室/神道関係者の人はそうは言わないかも知れませんが、ぶっちゃけ、民間でいうお彼岸の皇室バージョンです。
民間でお彼岸にご先祖様の墓参りをしていたように、皇室でもお彼岸にご先祖様の霊を祀っていたのですが、
明治になって神仏分離することになり、皇室で仏教行事をやるわけに行かなくなったので、
お彼岸から仏教要素を取り除いて、神道行事として仕立て直したのが皇霊祭なのです。
戦後、国民主権の立場から、皇室での神道行事の日を祝日とすることはなくなりましたが、「春分の日」「秋分の日」が残ったのは、皇室行事である前に、民間行事「お彼岸」でもあったからです。
そして、宗教分離の立場から、それを表立って「お彼岸」とは言えないわけですが、「祖先をうやまい、なくなった人々をしのぶ」というのは、特定の宗教に限らない普遍的な価値観であり、そういった行為を多くの国民がしている日である「春分の日」「秋分の日」を祝日として設定することは出来ない話ではないわけです。