今日会社の人に小さい声で死ねって言われたので私も小さい声でお前が死ねって言い返したんですが、これって罪になりますか？

お互い様だなと思う。第三者からみると質問者さんも最初に言った人と同等レベルになってしまうから印象は良くないかな。これは罪じゃなくて人間性の話。次からは無視して『かわいそうな人なんだな』と思っておきましょう。