職場でのコミュニケーションについて悩んでいます。現在、私・Aさん・Bさんの3人で働いていて、私は17時〜21時、Aさんは12時〜21時、Bさんは12時〜17時のシフトです。先日、Bさんが休みだったため、私は15時から出勤しました。その日は仕事が早く終わり、上司から「もう帰っていいよ」と言われたので、Aさんに「帰ります」と伝えたところ、「素直だね、いやいや残りますよって言うかと思った（笑）」と言われました。また、仕事中にAさんからよく話しかけられるのですが、対応する余裕がなく、相槌程度（「ですね」など）で返していたところ、「ですねばっかりだね」と言われたこともあります。自分でも返事が少し単調すぎるかもしれないとは思っているのですが、仕事中はあまり雑談に気を使う余裕がなく、それを指摘されることにストレスを感じてしまいました。こういった場合、私の対応はよくなかったのでしょうか？それとも、ある程度割り切っても大丈夫なものでしょうか？