仮契約の解除について

[ＢＡＤ夫婦]

あるＨＭと仮契約をしました。
その時点ではまだプラン変更も可能でそのＨＭで建てるよ。
他は入れないでねの約束みたいなものですと営業マンに言われていました。
その時点では本体価格も安く思え「注文請書」に署名、捺印をしました。
本契約時に契約金１００万を支払ってほしいと言われ
本契約までに色決めをし本契約すれば工場に発注すると言われていました。
現時点で色決めまではして今週末に本契約予定なのですが
最初の予算より３００万くらい予算オーバーなので
もう一度ちゃんと検討したいと思いはじめました。
そのため仮契約を解除したいと営業マンに言うと
今まで何通りかのプラン提案や設計料、その他の経費を支払ってもらわないといけないと
言われています。
ＨＭには地盤調査費の１０万円しか支払っておらず仮契約解除の違約金がいると
言われていますがこれは払わないといけないのでしょうか？
ローンのことなどもちゃんと調べず営業マンの言葉のまま仮契約してしまった
私たちが悪いのですが、ＨＭの人には仮契約して本契約しない人なんて過去に事例が
ないので違約金がいくらになるかわからないからそれを払うのなら
家を小さくして３００万削りましょう見たいなことを言われて
余計にそのＨＭでは建てる気がなくなりました。

このような経験された方どのように対処されましたか？