問題なさそうに見えます。
まず、WindowsのWi-Fiの「アンテナ本数表示」は、実際の通信品質を正確に示しているものではありません。
この表示は、Wi-Fi（802.11）で定期的に送信されているビーコンフレームを端末が受信し、そのときの RSSI（受信電波強度） を元に、かなり簡易的に段階表示しているだけです。
無線通信は、壁や家具による反射、人の移動、電波の干渉
といった影響を受けるため、マルチパスが発生します。
その結果、電波が一時的に強くなったり弱くなったりするのは普通に起こります。
一方で、
「Wi-Fi接続の管理画面」では、接続状態が「接続済み」、エラー表示が出ていない
という状態であれば、論理的には正常に接続できていると判断して問題ありません。
つまり、アンテナ表示が2本程度から4本まで変動しても（おそらく変動していますよね？）実際にインターネットが安定して使えているのであれば、表示の揺らぎは仕様の範囲と考えて大丈夫です。
