人間には共通した心理反応があり、それ故に心理学というものが成り立つのですが、人間は少なからず他者に「自己投影」を行います。
つまり他人に対して肯定的な行為は「自分がして欲しい」こと。
逆に否定的な攻撃は「自分がされて最も嫌なこと」となります。
質問者様のお友達も質問者様の容姿を褒めるだけではなく、その後に「自分なんか」という「自己否定」をしていますので、お友達は自分の容姿に自信が無く劣等感を抱えているので、質問者様の容姿を褒めるというのは「自分も褒めて(肯定して)欲しい」という心理の裏返しです。
ただ、質問者様ご自身で言われて感じられている通り、容姿にこだわりがなければ、なぜそこまで容姿にこだわるのか理解できなかったり、容姿自体に価値を見いだせなかったりすると困るというには自然な事です。
暗に容姿に対しての同調を求められている感覚がする。
同調を強要されているような感覚があるので消耗して疲れてしまう訳です。
そんな時は無理に肯定も否定もする必要はなく、相手が褒めてくれたらありがとうでいいですし、相手がネガティブな事を言っても「あなたはそう感じるんだね。私はあなたが好きだよ」と「共感」だけ示してあげれば良いです。
それだけで相手は安心しますから。
しんどく感じるのは相手が言った事に対して無理に返事しなきゃと強迫観念にかられるからですよ。