Apple社製以外のプラグインを使う場合は、オーディオトラックを作成後、インスペクタウインドウのプラグイン設定欄(Audio FX)からプルダウンメニューの
Audio Unitsからそのプラグインを選びます。
そのメニューに表示されてない場合は、何か問題が発生しています。
正常にインストールできてない、動作保証外、など
プラグインが設定されたら、それをクリックすれば設定画面が開くはずです。
ただし、古いプラグインだとIntelのMac用で、MシリーズのMacに対応していなくて、サポートソフトを使わないと開かないなど、使うには難関が出てきます。