絶対的なサイズが違いますから、軽は助手席の人が近いし狭いと感じると思います。
また、軽は安い分遮音材が少ないし、窓ガラスなんかも薄い。
最初は「十分じゃないか」と感じますが、乗り慣れてくると煩いなとか乗り心地がとか、高速や流れの速いバイパスなんかでのパワーなど色々感じると思います。
ただ、軽にはコンパクトで取り回しの良さなどのメリットもありますのでそういう点を含めて納得できるかどうかは質問者さんの価値観と感じ方次第だと思いますね。
私は軽と普通車を持ってますが、軽は軽の良さがあるけれど、長距離は疲れるので遠慮します。