4年前の派遣で短期で辞めた件が、正社員の選考に直接影響する可能性は低いです。
派遣先の会社が過去の勤務履歴を詳細に保持していることはあまりなく、特に別棟・別部署で4年も前の話なら確認されるケースは少ないです。
面接で辞めた理由を聞かれた場合は、前向きな理由で簡潔に伝えると良いです。例えば「業務内容や環境が合わず、経験を積むために別の道を選びました」といった表現で、ネガティブ感を出さずに話せます。
短期で辞めた過去があるからといって、自分に合ったモクモク系の仕事で正社員になれないわけではありません。自信を持って応募して大丈夫です。