むしろ楽しくないのに4回も会ってあげている質問者様が優しすぎる。7歳も上ならリードして欲しいのも当然ですよね。
なのに相手はリードしてくれるどころか、7歳も下の女の子が無理して気を回してくれているのにも気づかず「気が合う」と勘違いして一人で喜んでいる。もし結婚したらこの関係が一生続くんですよ。質問者様の本当の気持ちを察してくれる事もない精神的に孤独な結婚生活は地獄になると思いませんか。
一般的に言って、4回も会って楽しくないならもう進展は無いです。
お相手の男性のためにも早くお断りした方がいいです。35歳となるともう後がないですからね、質問者様がダメなら少しでも早く次の女性を探すステップに移らせてあげないと。あまり引き延ばして相手の時間を無駄に奪うと恨まれる事にもなりかねません。
お友達からの紹介なら、男性本人にお断りを伝える前に、先にそのお友達に一報入れた方がいいと思います。「会話の波長が合わない。年上なので頑張って話を合わせてきたけどこれ以上はしんどい。彼ももっと自然に会話が合う女性を探した方がいいと思う」などでいいでしょう。男性にお断りを告げる時も、『合わない』をキーワードにすると良いです。どちらが悪いわけでもなく相性の問題だというニュアンスに持っていく。
そこで「いや、俺は気が合うと思ってる!」と食い下がってきたら、「私にとっては合いません。片方が無理して合わせている関係はいずれうまくいかなくなる」など言えば、独りよがりだったと気づいてくれるのでは。