勤務先の対応は違法です。
なぜ勤務先がそのような対応をしたかといえば、「問題にはならないだろう」と高をくくったからです。
就業規則に基本給額と職務手当額が記載されていればそれは従業員の権利となります。
それに照らして不足があれば過去3年分をまとめて払ってもらう権利があります。
※賃金の時効は3年です。
質問者様はおかしいと思いつつ、強く出ることができませんでした。それが「勤務先が高をくくった」理由です。
就業規則から職務手当を削除するのにも従業員の同意が必要です。
同意のない労働条件の不利益変更は違法です。
それに対して質問者様が不同意の意思表示をしなければ同意しているとみなされて問題はないことになります。
まずは勤務先に文書によって過去3年分の未払い賃金の請求をなさってください。請求金額と請求内訳は必須です。
ご質問内容を見る限り勤務先からは無視される可能性が高いですが、それでも請求したという事実が大事です。
視覚障害とのことなので、文書の作成が困難なら誰かに手伝ってもらいましょう。誰もいないなら司法書士などに頼むしかないですが、あらかじめ概算の請求金額と司法書士料金の確認をしてから正式依頼しましょう。割に合わない金額では意味がないので。
その前に労基署でご質問内容をそのままぶつけてみてもいいと思います。