う~ん.....
マザーボードの異常か?
筐体経由のノイズ拾ったのでしょうか?
あ、スピーカー自体の異常も否定できなさそうです。
基本的にPC筐体の3.5mmプラグはPC内のサウンドチップでデジタル音源からアナログ化されたオーディオ用アナログ信号が流れます。
USB→3.5mm変換器は小型のデジタル→アナログ変換器組み込まれた外付けサウンドデバイスなので、PC内のチップが不調でも変換器が正常かつノイズ拾いにくい接続で有ればPC内チップと同様の異常は出ないはずです。
DP→3.5mm変換もグラフィックチップ/GPU経由でモニタやオーディオ分離器に内蔵されたチップでデジタル→アナログ変換するので、PC内のチップが不調でも変換器が正常かつノイズ拾いにくい接続で有ればPC内チップと同様の異常は出ないはずです。
DP接続はDPケーブルにノイズフィルターが付いていたらノイズフィルターの効果でノイズ減っているのかも......
とりあえずPC以外でのスピーカーの動作チェックと、ノイズフィルター付きUSBケーブル使ったUSB変換器接続を試してはいかでしょう?
スピーカーが正常でノイズフィルター付きUSBケーブルが効果出た場合はマザーボードの異常か筐体経由のノイズだと思います。
場合によっては筐体にアース付けて電気ノイズの逃げ道造れば多少の改善も有り得ます。
ノイズ自体はケースが外部(コンセントや電源タップ等々)からノイズ拾っていない限り電源ユニットかマザーボードが原因と予測しますのでこんな感じになるかと。