そのthat は関係代名詞ではありません。文法的には、形容詞 worried の具体的な内容を述べるための副詞節を導く接続詞でしょう。往々にして、感情を表す形容詞の後に使われます。ジーニアスの例文を引用しておきます。
以下引用
❷ ［形容詞·分詞に続く副詞節を導いて］ （…する, …である）ので《◆⑴ because に相当. ⑵ ｟略式｠では通例 that は省略. ⑶ 主節には通例人の感情を表す形容詞·分詞がくる》
▶︎
Harry was angry that she had ignored his instructions.
ハリーは彼女が自分の指示を無視したことに腹を立てた
▶︎
I'm glad that you're back with us again.
あなたがまた私たちの所に戻ってきてくれてうれしい
▶︎
I was surprised and a little disappointed that he was becoming upset about this.
彼がこの件で次第に動揺してきたことに驚き, また少しがっかりもした.
引用終わり
感情を表す形容詞を修飾するためには前置詞句も良く使われます。
be worried about / be afraid of / be interested in / be excited about / be anxious for などなど。
that節と前置詞句を入れ替えることも可能ですが、ご質問の文のように、その形容詞の主語と修飾部の主語が異なる場合には、その意味上の主語をあらわす必要があるために難しく感じられるかも知れません。
例
He is worried that he might hurt her feelings.
主語が同じなので
He is worried about hurting her feelings.
He is worried that she might leave him.
主語が異なるので
He is worried about her leaving him.
みたいな感じ。
なお、先の回答にあるようなニュアンスの違いは、恐らく 動詞として worry を使うか、be worried と be 形容詞 を使うかの違いかと思います。
