皆さんは仕事とかで特に接点がなく、会話もほとんどしなかった人が退職される場合、その人に対して退職祝いのプレゼントとかしますか？

個人的な話ならしないですし、団体で渡すからお金を出してほしいということなら、断らずに出すと思います。

大した額じゃないでしょうし、職場の判断には沿っておいても問題無いと思うので、右倣えといった感じですね。