官邸幹部が、日本は核武装すべきだと言うと、何がそんなに悪いのですか？

発言自体は悪いとは思いません。しかし現状では不可能に近いくらいハードルが高いのも確かです。そのくらいですね。