車の運転中、助手席の人が後部座席の人に何かを渡したりもらう時、運転手にがさつに当たるのは、運転の邪魔になりますよね？

なりますね。

私が運転していたら、気を付けろ！と強めに言いますし、

そう言うことをしでかしそうなガサツなやつは、助手席に座らせない。