土地の境界、ブロック塀について………

[たか]

土地の境界にまたがるブロック塀と、それからはみでたブロック塀についててお聞きしたい&相談したいのですが、
今回新しく土地購入し、新築建築を計画しているのですが、
気に行って購入検討している土地が、隣家との境界の真ん中を中心にするようにブロック塀が縦にたっており、(１m60か70ぐらいだと思います、たぶん。)

それはいいのですが、その縦のブロック塀の横に、こちらの土地に完全に入る形で、横向きに段積みでブロックが置かれています。(わかりにくいですが、絵の黒いとこの用な感じです。四ヶ所あります。)

単純にこちらが使える土地か減る事と、ブロック塀の景観が好きではないので、
元々好きな塀を自分の土地内に建てる予定、
建てたい予定なのですが、
これを撤去せずにたてるとなると単純に点線の部分で塀を作らなければならなくなるので、
やはり使える土地が減るなと思ってしまっています。

不動産のかたに聞いたところ、
撤去かー？うーん？みたいな反応だったのですが、(また次回行く時に詳しく聞き、交渉してみますが。)、
完全にこちらの土地に入ってしまっている、完全に自分達には不必要なものなのですが、撤去する事は難しいのでしょうか？
撤去できる可能性など、どういった手順を踏めばいいものでしょうか？？？

よろしくお願いいたします。