敷地境界線をまたいでの庭の造成について

[金崎]

初めまして。質問お願いします。
昨年一戸建てを建てたのですが
その後隣地に新築が建てられました。

そこで問題なのですが、
我が家は隣地境界線から10センチほど
下げてブロックを積みフェンスを立てたのですが
お隣さんが、砂を敷き詰めて庭を造成したため
我が家のブロックが砂止めのような形で
利用されています。
当然隣の敷地をまたいで庭となっている状態です。
当初の話と異なり(当初は家のブロックに隣のブロックが一部接触する程度との説明。)
業者と話をして、隣の庭の一部は家の土地である認識を持ってもらうようお隣さんに説明してもらいました。

その後、友人から、他人の土地に勝手に建物を
建てても何十年か経つと民法上では
相手の土地として認められるという
ことを聞きました。
この場合そんなことがありえるのでしょうか？

近所付き合いもあるし、土地を相手の
庭として利用されることは
府に落ちませんが我慢しようと思っていましたが
土地の所有権に関わるとなると不安で耐えられません。
どうかお願いします。