「過去は大目に見る」のは、その元暴走族が罪(暴走行為)をきちんと償い、なおかつ真摯に反省しているという大前提があります。
そして大目に見てくれてる人はおそらくその暴走行為・迷惑行為・危険行為に直接関わらなかったからそれができるのでしょう。
過去にしてしまったこと、特に犯罪行為は簡単に取り消せません。
実際人に迷惑をかけることをわざとやってきたわけです。すごんで人を怖がらせたり脅してお金を巻き上げたりする人もいれば、他人が困っている・苦しんでいる姿を嘲笑したり、面白がったりしてきた人もいます。
真面目にやることを拒んでそちらの道に走った人も少なくありません。
周囲の人が、元ヤンキーがまたそういう行動に出るのではないかと心配・危険視するのは当然です。
だからそもそもハンディを背負ってるんですよ。しかも自分で作り出したハンディです。それを乗り越えるには、真面目にやってきた人以上に真面目に懸命にやる必要があるのは認識しておく必要があります。
こういう自分で作り出した状況に対して、しかもひとまず受け入れてもらっている状況で、文句を言ってるようでは状況は改善しませんよ。
辛いことは多々あると思いますが、損だとか考えずに、「ここで仕事をさせてもらえるだけでありがたい」と思うほうが自分のためだと思います。