「budget」の語源はラテン語の「革袋」という言葉です。
「on」という単語は「接触」というイメージで捉えるのがわかりやすい単語です。
「on a budget」は「袋(=持っているお金)の制約のなかにいる」というイメージで捉えるといいと思います。
「切っても切れない関係」というより、「その制約に縛られている」というニュアンスが近いです。
---
onの後が人になると、「強いパイプ」という意味にはならないと思います。
・I'm on him「彼を追跡中/監視中だ」
・The drinks are on me「おごるよ」
など、違う意味になると思います。