金魚のフンはついてこられる方は不快なので言われるのは仕方ないと思いますよ。
失敗したのはこの部分じゃないですか。
「こっちも帰りたいと思ってないのに」って、別にお前と一緒にいたくないけど1人になりたくないから一緒に帰っていただけって相手に言っているようなものじゃないですか。
不快にさせられた挙句そんな失礼で傲慢な事を言われるなら、優しくする対象から貴方を外す事にしてもおかしくないと思いますよ。
貴方もそこまで言ったのなら、今後は彼に頼らずに自分のコミュ力と社交スキルで周りと仲良くするしかないと思いますよ。