あなたの「恋愛対象でなくてもご飯程度なら」という価値観は決して珍しくありませんし、友好的で素敵な考え方です。ただ、残念ながら相手が異なる期待を持ってしまうケースがあるのも事実です。
今後の対応として以下をお勧めします。
・誘われた時点で「お食事は嬉しいですが、恋愛的な関係は考えていないことをご了承ください」と最初に伝える
・複数人での食事を提案する(「○○さんも誘って皆で行きませんか?」など)
・恋愛対象でない方からの二人きりの誘いは丁寧にお断りする(「お気持ちは嬉しいのですが、今は仕事に集中したいので」など)
・職場の人間関係を理由にする(「職場の方とプライベートで会うのは控えているんです」)
あなたの育った環境での経験は温かいものですが、都市部や職場では異なる文脈で受け取られることがあります。「尻軽」などと思われる心配は不要ですが、誤解を避けるために境界線を明確にすることが、結果的にあなた自身と相手の両方を守ることになります。
断る際は申し訳なさそうにしすぎず、明確かつ丁寧に伝えることが大切です。