境界杭、勝手に抜いたり捨ててもいいのですか？

[マップング]

近所で、現在建て替えられているお宅があるのですが、そのお隣がもう６年以上も空き家
になっています。
先日、その建て替えられている方が、境界にあった塀を壊して、さらに十字の入った杭を
引っこ抜いて１ｍ空き家側に移動させて新しい塀を作りました。また、公道との境にあっ
た市のマークが入った杭も土建屋が抜き取って捨ててしまいました。
「測量なんて金かかるからやらんだろうし、数年経てば時効なんだよ。やったが勝ち」と
豪語していますが、私は腑に落ちません。土建屋がしている行為なので違法とも思えませ
んが、皆様にお聞きしたいのですが、これっていいのでしょうか。