元アレルギー薬の研究者です
地域にもよると思います。
以下の花粉カレンダーでお住まいの地域の花粉を見て見られるとよいと思います。
https://www.ssp.co.jp/alesion/column/hayfever/calendar/
少なくともイネ科のカモガヤについてはほとんど飛んでおらず、飛んだとしても半径数十メーター以内なので、庭に生い茂っていない限りは大丈夫だと思います。
スギ花粉については、東北以南で地域にもよりますが夏場以外は少ない量が飛び続けます。
特に秋冬の暖かい日には桜の乱れ裂きと同じように花粉が少し多めに飛ぶことがあります。
外出されるときはウイルス対策と花粉対策の両方のためにもマスクをされた方がよいと思います。
以上参考になれば幸いです。