本来の財源つまり日本円が生まれる元、という意味では税金は財源ではありません。
税金の目的は国民から日本円を奪うことそれ自体です。それによって日本円を流通させたり、国民にインフラ整備させたり、政府の望む政策を実行したりしています。
国民から回収した税金の一部は国債の償還に充てられ、残りは国庫に入ります。国の予算は国庫から執行されますので、予算の一部は税金ということになりますが、予算に税金が含まれること自体は必須ではありません。
まとめれば、税金は日本円の財源ではないが、実際には予算の一部になっている。税金を無くすことは(少なくとも日本では)できない。