お仕事お疲れ様です。
「早退させられる」には、会社として従業員の健康に対して責任がある為ですが、度重なるとその方(あなた)の自己管理能力を疑われてしまいます。場合によっては仰る通り、契約更新を拒まれる事にもなり兼ねません。
また、作業員が一人減る事で他の作業員に負担が掛かったり、必要な作業量をこなせなかったりと支障を来たします。
あなた自身は健康で問題有りませんので、一度リーダーや上司に、作業場(工場内)が暑い為体温が上がる事と、帰宅後は平熱である事を説明し、必要であれば作業中に他の方の体温も計ってみる事をお願いしてみてはいかがですか。
それらを聞き入れていただけない場合は、あなたの体温を下げるグッズを使用するのもよろしいかと思います。
これから気温も上がってきますので、体に気を付けて頑張って下さい。