分譲住宅の契約手順

[契約済みさん]

最近見に行った分譲地が気に入り翌日土地を抑えるのに手付けを払いました。
その3日後本契約をするので会社に向かい契約しました。
契約と同時に銀行の事前審査の申し込みもし数週間審査の結果待ちをして、返事をもらい今建物の間取りを考え中です。

銀行の事前審査の結果を待っている間色々調べていたら土地と建築工事請負の契約を一緒にするのはおかしい！と不審に思いはじめ、今間取りを進めているのですが営業の方がどんなんがいいですか？って電話での打ち合わせ、普通設計士さんみたいな人と打ち合わせしますよね？
おかしいと思うことが多く出てきたので契約を解除したいと伝えたところ、解除は出来るけど違約金2割払えと言われてます。
契約書には○月○日までは手付け金返還を放棄した場合解除出来ると書いてます。
まだその日にちの前だったので手付けを諦め解約をお願いしたのですが違約金！違約金！とその話ばかり。
正直精神的に参ってます。
諦めて違約金を払うべきなんでしょう？