庭に近所の人が入ってきます

[入居済み住民さん]

４０軒ほどの分譲地なのですが、自宅の庭に近所の人が普通に入ってきて困ってます。
田舎なので、都会のように家の周囲をフェンスで囲んだりすることがあまり一般的ではなく、コンクリの腰壁で囲まれた敷地に家が１軒たっていて、あとは砕石だけ（もしくは何もしない）で駐車スペースになっているなんていうのが普通です。
うちの場合は芝をひいたりアプローチを作ったりして庭っぽくしていますが、フェンスなどはしていません。

近所には子供がたくさんいて、車通りもあまりないので道で遊んでいるのは普通でそれはまあいいんですが、平気で人の家の敷地をだだだ〜っと通過していきます。が、、、１００歩譲って子供はまあ許します。ひどいときは注意してますが。
信じられないのは大人です。以前は、外出先から車で帰ってきたらうちの庭が公園みたいに子供の遊び場になっていて、その親まで数人で井戸端会議・・・。さすがに車を入れたら「あ〜、こんにちは〜」とか言いながら去っていきましたが。もう呆然とするしかありません。
さらに今日は妻の報告によれば、家の外からなんだか声がしたので外を見てみたら、近所の子供２人がうちのアプローチで飛び石遊びみたいなことをしており、その親二人もなぜかうちの庭で会話。しかも、雨の中・・・。もう意味がわかりません。

近所付き合いもあるので、どうやって止めさせたらいいか悩んでいます。
３面ある敷地の腰壁のうち西側の一面だけはうちのものなので、そこにはフェンスをしようとしているのですが・・・。
ぜひアドバイスを、よろしくお願いいたします。