名古屋でのスケジュールはさておき、名古屋から伊勢神宮までなら電車の方が楽だし間違いないと思いますよ。
GWだと高速道路は混むし、伊勢神宮の駐車場もかなり混雑すると思いますから。
名古屋港から伊勢市駅まで電車で2時間くらい、伊勢市駅から外宮までは歩いて行ける距離ですし、外宮から内宮までも距離にして4〜5kmくらいで路線バスがある、そして内宮の直ぐ横がおはらい町通り(おかげ横丁含む飲食店や土産物屋が立ち並ぶ通り)ですからね。
平日なら未だしも休日特に連休などでは公共の交通機関使った方が楽で間違いないです。
外宮〜内宮間はタクシー利用しても大した料金でもないし。
外宮と外宮参道、内宮とおはらい町通り以外にも行きたいところがあると言うなら話しは別になりますが、仮にお昼頃に伊勢に着くとしたら外宮周辺と内宮周辺を周るくらいしか出来ないと思います。