結論から言うと、「自分の環境で使うだけのライブラリ化」ならそんなに難しくなく、「配布可能なパッケージ」にするのは少し勉強が必要、というくらいの難易度です。
すでにローカルで動いている Python ファイルがある場合、まずはそれらを「モジュール」として整理するだけで、簡単なライブラリ化ができます。
例えば
・共通で使いたい処理を関数やクラスにまとめる
・それらを同じフォルダに置き、そのフォルダ名をパッケージ名にする
・フォルダの中に __init__.py を置く（中身は空でもよい）
・使いたい側のコードから from パッケージ名.ファイル名 import 関数名 のように import する
この程度なら、「モジュールの仕組み」と「import の書き方」が分かれば数ファイルでもすぐできます。
一方で
・他人の環境でインストールできるようにする
・PyPI に公開する
といった「配布用ライブラリ」にする場合は、pyproject.toml や setup.cfg の書き方、バージョン管理、ライセンスなどを学ぶ必要があり、最初はややハードルが上がります。
質問文の感じだと、「自分のローカルで再利用しやすくする」レベルのライブラリ化で十分だと思うので、その範囲なら初心者でも少しずつ調べながら十分実現可能な難易度です。
