ヘッドホンアンプにつけるソース機器が普通のスマホかウォークマンのuse出力かで、最終的な音は変わりますか？

変わります。接続するスマホによっても変わります。又、ダウンロードするイコライザーアプリ次第でも変わります。最悪、ヘッドホンアンプにより余計悪くなる場合があります。