技術的にはできます。ただ、アクセス権限とかでできないこともあります。
しかも、レジストリから削除するだけだと、ドライバとかは残存する可能性もありますし。よほど知識がなければ、最悪システムが不安定になります。
一応、以下のパスに、各デバイスのフォルダがあります。
HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Enum
あまり詳しいことは書きませんが、何らかのサードパーティー製のソフトウェアで、デバイスマネージャの代替となるものを見つけて利用されることが、一番安全かと。