原則は、名詞を前に置いて形容詞みたいに「一語扱い」にするときは、その名詞は単数形になります(three-year-old、a ten-minute walk など)。
three-fifths は形容詞化のルールではなく、「分数そのもの」の言い方なので別枠です。分数は「分子が 2 以上なら分母を複数形」にする決まりがあり、3/5 は three-fifths、1/5 は one-fifth になります。だから three-fifth’s の ’s は不要で、正しくは three-fifths です。
まとめると、three-year-old は「year を形容詞的に使うので単数」、three-fifths は「分数の決まりで複数」だから違います。