アルバイト先で、シフトを予定より早く上がらされたことがありました。労働基準法の違反かどうかについては特に気にしておらず、一定額の給料が支払われれば法的に問題ない点も理解しています。が、実際には払われないでしょう。ただ、不満に感じているのは、自分から早上がりしたいと一切言っていないにもかかわらず、早上がりさせられたことです。その日は、個人的に気になっている子と同じシフトでした。正直に言えば、その子がいるシフトだったので、早上がりはしたくありませんでした。一方で、その子がいないシフトだった場合に早上がりをどう感じたかは、正直その時にならないと分かりません。当時のやり取りとしては、「本当に帰っていいんですか？」と確認したところ、「帰っていいよ」と言われました。ただし、「帰りたい」「早く上がりたい」といった意思表示は一切していません。また、その後も帰らずにいたところ、「まだ帰らないの？」と言われました。この状況を客観的に見て、私の言動が原因で早上がりさせられたと考えるのが妥当でしょうか？それとも、店側（シフト調整側）の判断によるものと考えるべきでしょうか？第三者の意見を聞きたいです。よろしくお願いします。