正規非正規問わず、離職率が高い会社や職場はあまりイメージや印象が良くない感じがするんですが、それは強ち間違ってはないんですかね？

強ちどころか、大正解です。

ただ、あくまで「率」であって、数は必ずしもアテにはならない。
規模が大きいと、ホワイトであってもどうしても（やんごとなき理由で）退職者は一定数、出てくる。