圏論とは端的に言えば、矢印という非対称性を表す最小の記号を使って、数学のあらゆる構造を表して俯瞰しなおす作業でしょうか

俯瞰できるのは結果論です。

全単射X→Xを集めれば群になった、だから、群論の枠で考えれる
と言ってることは同じです。

圏の具体例がいろんな分野にあるというだけ。

あと、群論では演算に注目するのと同じように、対象間の射による関係に注目するのが圏論です。

つまり、圏の対象が何なのかは本質ではない。だから構造は表せない。