法助動詞の真の主語は、話者なんです。発話時点における話者の推測の意味を添える為に使います。
発話時点なので、常に現在形かつ、話者の推測なので、主語による格変化がありません。
過去の出来事を現在目線で推測する意味で言う場合は、may have ppの形を使います。
では、現在の意味しかない法助動詞に、なぜ過去形があるかというと、それは直説法の過去形ではなくて、仮定法の過去形だからです。
直説法は、事実をありのままに述べる時の時制、仮定法は、事実ではないことを述べる時制です。
Mightは、mayよりももっと自信のない不確かな推測の意味になります。wouldやcouldなど丁寧な表現で使われるのも、自信なさげに言うことで、控えめな丁寧な表現になるのと同じイメージです。