コメント欄をオフにしたからといって
それだけで動画の伸びが大きく悪くなることは
あまり多くありません。
特に書かれているように、
もともとコメントが0件の状態なら
影響はかなり小さい印象です。
また、YouTubeはコメント数よりも
視聴維持率やクリック率などの方が
強く影響することが多いです。
自分の環境でも似たケースがありますが
コメント欄をオフにしていても
普通に伸びている動画はあります。
ただコメントが増えるチャンネルの場合は
視聴者の反応が増える分だけ
おすすめに乗りやすくなることはあります。
時期によって変わることがありますが
まずはサムネイルや最初の数秒の構成の方が
影響は大きいことが多いです。
コメントが0件の前提ならオフにしても
伸びへの影響はほぼ気にしなくて大丈夫だと思います。