英検3級程度で英語圏へ旅行へ出掛けるのは無謀ですか？

全然問題ありません。

3級ができれば海外旅行で困らない程度の英語はいけます。

実際もっとできなくても旅行はおろか、企業の海外駐在までしているやつもいます。