ポイントは家族を養っている人の損得勘定です。
扶養家族がいると、所得税住民税が安くなるのです。その額は年間で5万円とか20万円とか。高い税金払っている人ほど、恩恵が多くなります。
ここで扶養家族である息子がアルバイトをしたとします。ある年収までは扶養控除の対象ですが、それを1円でも踏み越えると対象外となり、養っている親の税金が一気に20万円上がる、みたいなことが起きるわけです。息子がアルバイトで下手に1日余計に働いたため、家族全体で20万円減収になったらたまったものではない。だからそのギリギリのラインが心理的な壁となるのです。