太宰府天満宮までは電車なので渋滞は関係なく行けます。天満宮自体は混んでますけどそれはいつもですし、食べ歩きも正月ですらめちゃくちゃ並ぶこともないです。せいぜい数分です。でも一日天満宮に使うのはもったいないというか2、3時間でいいですよ。
あとは本当にゴールデンウィークなのでどこに行くのも渋滞はしています。博多のほうはどんたくですが、どんたくもせっかくなら見てもいいと思います。
私は福岡ですが一度も見たことないですが。
由布院や別府はいい案と思います。補足で書かれているように、宿が取れたら2日目〜3日目をそのあたりで過ごされるのがいいと思います。温泉宿は頑張ってキャンセル狙うかどうかして、電車はゆふいんの森号で検索されてください。自由席ならまだ取れるかもしれません!