「海で泳いだ」の「泳い」は連用形で合っています。
「泳ぐ」は五段活用で、本来の連用形は「泳ぎ」です。ただし、五段活用の動詞は、過去・完了の助動詞「た」が付くときに音便が起きて、「泳ぎ＋た」が「泳いだ」に変わります。このとき「た」の直前の形（泳い）を「連用形（音便形）」と呼ぶので、「泳い」も連用形の一種です。
見分け方は簡単で、「ます」を付けられる形が連用形（基本形）です。「泳ぎます」と言えます。一方、「た・て」が付く前で形が変わっていたら音便だと思えばよく、「泳いだ」「泳いで」は「泳ぎ＋た／て」が変化した形だと考えます。
