少額訴訟や民事調停の申立て自体は、法律の専門家でなくてもできます。
少額訴訟は「60万円以下の金銭請求」に使えて、原則1回の期日で審理して判決まで進みます。 
民事調停も申立てに特別な法律知識は不要で、裁判所の書式を使って進められます。 
ただ、この件で「楽天ペイメントから11万9000円を取り返す」のは簡単ではありません。カード決済は、後からカード会社側の異議で取消しや返金(いわゆるチャージバック等)になり得る仕組みがあり、事業者側は規約と提出資料で判断されます。楽天側にもチャージバック前提の制度案内があり、一定の返金リスクを織り込んだ運用であることがうかがえます。 
あなたがすでに返金に同意して支払っている以上、裁判で取り戻すには「規約上そんな返金義務はなかったのに、不当に返金させられた」「楽天側の手続や判断が契約違反だった」などを具体的に立証する必要が出ます。
一方で「売上入金を止められている数万円」は、争点を作りやすいことがあります。ポイントは、楽天側が入金留保できる根拠条項の有無、留保期間や通知の扱いが規約どおりか、留保が長期化する合理的理由の説明があるか、あなたが提出できる取引資料が何か、です。結局は、規約と証拠(取引明細、領収書控え、帳簿、メールや通話記録)で勝負が決まります。
追記
訴えること自体はできますが、勝てるかは「返金分」と「入金留保分」で分けて考えるのが現実的です。
まず入金留保分は、メーター記録や日報などの客観資料がそろっているなら、こちらの主張は通しやすくなります。楽天側が「規約で留保できる」と言うなら、どの条項に基づき、いつまで、どんな条件で入金するのかを説明する義務に近いものがありますし、根拠や運用が不合理だと契約違反や不法行為の争いになり得ます。
一方、すでに支払った11万9000円の取り返しは難度が上がります。あなたが合意して振り込んでいるので、「脅されて仕方なく払った」「虚偽の事実で返金させられた」など、返金合意を無効にできる事情を具体的に言えるかが鍵です。単に納得できない、規約が一方的というだけだと厳しいです。
やるなら、まず楽天に書面で「入金留保の根拠条項、留保対象取引、留保額の内訳、解除条件、入金予定日、返金請求9000円の根拠資料、話し合い拒否と記載した理由」を開示してほしいと正式に求めて、その回答を証拠化してください。電話だけだと裁判で弱いです。メーター記録、日報、決済履歴、返金の経緯が分かるメールや通知も全部そろえておくと良いです。
手続としては、急いで現金化したいのが入金留保分なら、まずは民事調停で「入金と清算」を求めるのが相性が良いことが多いです。相手が応じなければ訴訟に移せます。金額が60万円以下に収まるなら少額訴訟も選べますが、相手が通常訴訟に回すと言えば長期化しやすい点は覚悟が要ります。
最後に、規約が一方的に見えても、事業者向けの決済契約は一定の留保や調査を許す条項が入っていることが多いです。だからこそ、あなたの武器は「証拠がそろっているのに留保を続ける合理性がない」「説明も通知も不十分」という一点に絞って攻めるのが勝ち筋になりやすいです。