マウスが幾ら 8K の高速ポーリングレートでも、インターフェースは USB2.0 でかなり低速になります。USB2.0 でも 480Mbps ありますからね。
因みに USB3.0/3.1/3.2 Type-A のコネクタには、USB2.0 のインターフェースが別に入っていますので、USB2.0 の機器はそちらに接続されます。USB2.0 と USB3.0 の通信回路は別々になっていて、共通ではありません。
USB 3.0規格のFAQ(1) ―― 信号波形からSuperSpeed USBを理解しよう
http://www.kumikomi.net/archives/2009/08/usb_30faq1superspeed_usb.php ← 1~4 頁あります。
オーディオインターフェイスも、USB2.0 に接続されます。音声周波数もかなり低速なので、USB2.0 のインターフェースで十分です。
しかし、マウスと同じ系列の USB ポートの場合、USB2.0 はポーリングで順繰りにポートをサーチしていますので、トラブルがあると影響を受けやすいでしょう。その辺 USB3.0 は、割込み処理で行いますので遅れは無いです。
別系列の USB ポートに接続すると良いのではないでしょうか? そういう意味では、PCIe 拡張カードを増設するのも良いのではないかと思います。
因みに、PCI-Express ポートの転送速度はかなり速いので、USB2.0/USB3.0 の転送速度に影響することはありませんし、内蔵の USB ポートとの転送速度には差がありません。これは規格で決まっているものだからです。
不安定なのがオーディオインターフェースなら、独立した USB ポートに単独で挿しておけば大丈夫ではないでしょうか? どれが独立しているポートなのかが判らない時は、色々接続先を換えて試してみて下さい。あくまでもオーディオインターフェースは、USB2.0 を使っていますのでお忘れなく。