正確ではない回答があるので投稿します。
まず、NTTが提供している「フレッツTV」は新規の加入受付を停止しており、いずれサービスを終了します。
したがって、ご質問者様が投稿している「光テレビ」について投稿します。
光テレビ（正確には光TVチューナ）は契約しているプロバイダ経由で光テレビのオプション契約が必要で、
・有線LANでインターネット接続
・テレビとはHDMIケーブル接続
したがって、（WiFiは使いませんが）WiFiルータとLANケーブルで接続します。
自宅で光回線のインターネット契約していれば、WiFiルータと光テレビをLANケーブルで接続します。
家中のテレビを光テレビ対応にするためには１台のテレビに１台の光テレビチューナーが必要になります。
家中のテレビを光テレビタイプにするためには、光テレビの月額レンタル費が高くなるだけでなく、同時に光テレビを観るとネットワーク負荷が高くなり、映像が正常に表示されない可能性があります。
したがって、ONU（WiFiルータ近く）のテレビ１台を光テレビ対応にするのが現実的だと思います。
光テレビの接続イメージは、下記資料が参考にしてください。
https://www.hikaritv.net/resources/hikari/pc/media/services/guide/tuner/triple/ks6100_setupguide.pdf
