「小球Pと台Qをひとまとめ(系)」として考えるからです。
1. なぜ個別にみると仕事は0ではないのか?
台が固定されていれば垂直抗力は移動方向に垂直ですが、この問題では台が動きます。そのため、地面から見た小球の移動方向と垂直抗力の向きは垂直ではなくなり、垂直抗力は小球に対して「負の仕事」を、台に対して「正の仕事」をします。
2. なぜ保存則が使えるのか?
垂直抗力は「作用・反作用」のペア(内力)です。小球が垂直抗力によって失うエネルギーの量と、台が垂直抗力によって得るエネルギーの量はちょうど等しくなります。
つまり、系全体で見れば(小球の仕事)+(台の仕事)= 0 となり、エネルギーがPからQへ移動しているだけで、全体の合計は変わりません。
したがって、系全体に対して以下の保存則が成立します。
mgh = (1/2)mv_P^2 + (1/2)Mv_Q^2
まとめると、「垂直抗力は個々の物体に対しては仕事をするが、系全体ではその仕事の総和が0になるため、力学的エネルギー保存則が適用できる」ということになります。