ゆうゆう窓口ではなく、郵便窓口でゆうパケットポストminiの封筒を購入することはできるのでしょうか？

はい。

「ゆうゆう窓口」というのは、郵便局の通常の営業時間外（早朝・夜間・土日祝日など）でも郵便物や荷物の差し出し・受け取りができる時間外窓口のことです。

なので、ゆうゆう窓口で可能なことは、基本的に郵便窓口ではできます。