あなたの認識が正しいです。
あなたは、合算で確定申告して追加納税すれば良いです。
副業のおっさんは無視して良いです。
話のわからないおっさんは相手にしなくて良いです。
国税庁の「確定申告書等作成コーナー」で確定申告する時に
給与の源泉徴収票の扱いで「年末調整済み」と「年末調整なし」の選択があります。
「年末調整済み」は1枚しか入力できません。
「年末調整なし」は何枚でも入力できます。
「年末調整済み」を年末調整なしに入力するのは可能です。
「年末調整なし」を年末調整済みに入力できません。
=全ての源泉徴収票を年末調整なしに入力するのは問題ありません。
仮にですが、年末調整が間違っていれば「年末調整済み」は受付しません。
「年末調整済み」の入力システムは、源泉徴収票の数字が1円でも間違っていれば不可です。
「年末調整なし」の入力システムは許容範囲が無限大に広いです。
会社の間違いを訂正するのですからなんでも受け付けます。