たちまち、すぐに結論を出す必要がないなら、
たまに彼氏さんに子供を会わせ、親子の時間を取り、父親をさせることで
「やっぱり、一緒に暮らした方が良い」
もしくは
「このまま結婚はせず、親子関係だけは継続していく」
などと、どちらかの判断をする。
もしくは
「籍は入れないけど、とりあえず同棲してみて、仲良く暮らせそうだったら、そのまま籍を入れよう」
ってするのもアリだと思います。
妊娠中の浮気が原因で、子供が生まれて、すぐに離婚される方もいますから、
このまま
「一緒に暮らすとか無理すぎる!」
と、同棲もしなければ、結婚と言う形も取らないのも、決してナシではありません。
夫婦喧嘩を子供に見せる方が色々と問題ですからね。
とは言え、子供に責任があるのは、質問者さんも彼氏さんも同じです。
結婚という形を取ることだけが全てではありませんが、
「どんな形で子供を養育するのが、ベストなのか?」
に関しては、彼氏さんと一緒に考えて欲しいなと思います。