個人的には、袖が36段程度（1段あたりの目数も多くないはず）なら、編み直し一択だと思います。
もし「4段で1模様」などの繰り返しがあるデザインなら、34段で終えるのは見た目として不自然になりやすいですし、模様がなくて長編みを淡々と繰り返すだけだとしても、長編み2段分のゲージ差は案外目立つ可能性があります。ご自身として「着たとき・並べたときに気になるかどうか」がポイントですね。
気にならない（許容できる）のであれば、そのまま進める判断もアリだとは思います。
余談ですが、以前たまたま見かけた編み物動画（完成報告＋雑談）で、編み間違いに気づきつつもそのまま初めてのセーターを完成させて、実際に着てとても喜んでいる様子が微笑ましかったことがあります。動画越しでも分かる間違いで、「直したほうがいい」と言いたくなるレベルではありました。
ただ、もし解いている途中でやる気が途切れて完成しなかったら、その喜び自体がなかったわけで……初心者の方に編み直しを強く勧めるのも、実は諸刃なのかなと思うことがあります。
とはいえ、編み直す勇気は、踏み出して経験していかないと身につきませんし、上達も遠くなりがちです。編み直しをほとんど経験せずに中～上級者になった人は、まずいないと思います。
ちなみに、編み物初心者の方やブランク明けで久しぶりに編む場合、最初だけ手加減がきつく、慣れてくるにつれて（感覚を思い出して）後半で適切な手加減になるのは「あるある」です。
そのため、編み直すなら「最初に編んだほう」か、もしくは「ゲージの誤差が大きいほう」を解いて揃えるのが基本です。
また、糸の残量に余裕があり、左右対称の袖であれば、あえて3枚編んでゲージが近い2枚を採用する、という方法もあります（精神的にラクな場合もあります）。
