建築現場の通例から言えば、事前に一言断りを入れるのが「普通」であり、最低限のマナーです。
例えば、隣人が車を停める際に、あなたの敷地内にタイヤを入れながらバックしていたとします。たとえ実害がなくても、不快に感じる人は当然いますよね。
今回の件も同じで、あなたが「勝手にされている」と不快に感じた時点で、それは決して当たり前のことではありません。
まともな業者であれば、トラブルを避けるために「工事の間だけ、少し控えを取らせていただきます」と事前に説明をするはずです。
よく「お互い様」という言葉が使われますが、それはお互いの信頼関係があって初めて成り立つものです。挨拶もなく無断で他人の所有物を利用するのは、やはり「非常識」と言わざるを得ません。
ただ、他の方の回答などを見ていると、残念ながらこうした非常識な行為が業界の一部で日常化してしまっている側面もあるのかもしれません。業者目線では「これくらい大丈夫だろう」という安易な感覚なのでしょう。
一つ注意したいのは、これはあくまで業者の配慮不足であり、お隣さん（施主）自身に非があるわけではないということです。お隣さんとの今後の関係を考え、そこは切り離して割り切った上で、業者に対して冷静に非を指摘するのが賢明な判断かと思います。
