慣れていなくてぎこちないなら、それを友だちがあなたはスキンシップが好きではないと感じてしまってる可能性が高いです。
あとは、よく「ずっと睨んでるような目つきをしてて怖いからできない」というのを聞きます。
なのでもしかしたらあなたの普段の振る舞いの中になにかそういう引っ掛かるものがあるのかもしれません。少し振り返ってみて、何かそういうのがあるなら直すように意識してみてください。
あなたの見えるところであなた以外の人にスキンシップをしてるなら、あなたが嫌いだからあなたとスキンシップをしてないというわけではないと思います。
自分からさりげなくスキンシップしにいくとかしてみるといいかもしれません。