ご指摘のとおり、避けられないですね。
新しく契約した電話番号が運悪くgoogleからBANされてるとか、口コミのサイトで悪く書かれてるというのは、よくあることなのかなと思います。
というのも、善良な人はあまり電話番号を変えないけど、犯罪者は足がついた電話番号を頻繁に変えるから、結果として電話番号を変えると悪いことが起き易いです。
一般市民ができる対策としては、良い電話番号（アカウントの認証に使えること、不審な電話やSMSが来ないこと）を持ってるならできるだけ変更しない、変えるときは事前に調べる、ということぐらいかと思います。
