年金保険だったんですね。
まず前提をはっきりさせないといけません。年保険は、保険契約者と被保険者が同一人で、その人が年金開始後に受け取るということが多いと思います。そういう契約関係であったかどうかですね。
そして、亡くなった時期が年金支払開始日の前か後かということも重要です。そして後の場合、年金の保証期間内であったかどうかということです。
それぞれの場合分けが必要なんですが、一つの例として、弟さんが保険契約者兼被保険者であって、年金支払開始前に亡くなった場合、支払われるのは多くの保険会社で死亡給付金(多少名称は違うかもしれません)というものであろうと思います。それは、あらかじめ受取人が指定されていることが多く、それがお父さんであった場合、生命保険の死亡保険金と同様に、受取人の固有の権利となるので、相続放棄をしても指定された人が受け取ります。