まず、無限集合の定義が正しくありません。
今の定義だと、自然数全体や整数全体、有理数全体といった通常無限集合と呼ばれる集合も無限集合でなくなってしまいます。
一般には、有限集合とはある自然数 n が存在して{1,…,n}と全単射を持つ集合と定義し、無限集合とは有限集合でないものと定義します。
この定義のもとであれば、「有限個の要素を取り除いても空にならない」ことが保証され、あなたの帰納的構成は正しく機能します。
また、「f(0)∈A を取る」という書き方は、0 の行き先を A の任意の元として定めている、という意味で書くとより明確になります。
同様のことは f(1) や帰納法についても言えます。
定義を修正すれば、構成のアイデア自体は正しいです。