What did he mean by calling you at that time of night ?
動詞 mean は「～を意味する」「～を意図して発言する」「～のつもりで言う」のような感じの意味ですので What did he mean ～ で「彼は何のつもりで言ったのか」「彼の発言の意図は何だったのか」くらいの意味になります。
by ～ 「～によって」「～することによって」
call you 「君に電話をする」
at that time of night 「夜のそんな時刻に」
全体では
「夜のそんな時刻に君に電話したのは彼はどんなつもりだったのだろう(何が言いたかったのだろう)」
くらいでしょう。
