その指摘はかなり正しいです。リスニングで「文脈から判断できる」というのは、実は膨大な語彙があるからこそ成り立っている話です。
知らない単語が出てきたら、文脈から類推するのはほぼ不可能です。例えば、聞いたことのない単語が何度も出てきたら、それが何を指しているのか、どういう話の流れなのかも掴めなくなります。逆に語彙が豊富なら、たとえ一部の単語を聞き逃しても、全体の意味は拾い上げられる。これが本当の「文脈判断」です。
あなたが言う4～5万という数字は、正直なところ誰にも正確には分かりませんが、少なくともリスニング力が高い人は、相当な語彙量を持っているというのは確実です。共テや英検2級程度なら、1万前後の単語で対応できますが、それより上のレベルを目指すなら、語彙の積み上げは本当に重要です。
つまり、リスニングの上達には「単語・連語の習得」が絶対的な基盤にあるということです。文脈力も大事ですが、それは語彙という土台の上に初めて成り立つものだと考えた方が現実的ですよ。
