ずっと働いてない人って，近所の人とかに「なんで働いてないんだろう？」って変に思われてもいいの？

かってに思わせて置けば良いと思います。他人にはわからない病気だったり、色々事情があって働けないと思いますよ。余計なお世話です。