境界線の塀について

[検討中の奥さま]

　既存の古い家屋を取り壊して新築予定の者です。（そこには住んでいません。）
三方向家屋が境界線ギリギリに密接していて一方が車道に面しています。

隣地境界に塀がない所（北側）と、その反対側は崩れそうな1.5ｍ程の古いブロック塀があるので
それらを壊して新たにフェンスを作り直す予定です。（新しい塀の費用は当方もちのつもりです）

ところが塀のない方の隣地の方が通路に使っているので建てて欲しくないと言われました。

塀を作った場合人ひとりは通れても大きな荷物を持ったら通れないと言うのです。
その方は道路の面に店舗があり、うちの境界側奥が自宅の入り口になってるそうです。

隣家の方のみならずその奥の旗竿地にある事務所の方も通路に使っているようです。

そこがフェンスのない通路のままだとうちの東側南側も他人に入られそうで
防犯上落ち着かないと思えるのですが、
お断りして塀を建てたら喧嘩になりそうと主人が申します。

低いフェンスの予定なのですが塀は建てられないのでしょうか?