五十代の選手でも S級一般のレースに出場できるのは 競輪は あまり加齢は関係ない競技なん？

関係は大いにありますが、年齢や時代に合わせて最適化した練習が出来る一部の人たちだけが、力の低下をなんとかカバーしてS級に残っているという状況です。

レジェンドと呼ばれた神山雄一郎も40代後半まではトップランカーの地位を保っていましたが、50代に入って急激に衰えました。