土地と建物契約解除について

[いつか買いたいさん]

皆様のご意見をいただきたいので、お願いします。

こちらで法律関係に詳しい方にご教示いただきたく、相談します。

土地から購入して、注文住宅で家を建てる予定でいます。

私たちの無知・勉強不足・見切り発車がいけなかったのですが、希望の場所にまあまあ条件が良い土地が出たので、ちょうど家庭の諸事情もあり早く決断したかった経緯もあり、購入することに決め、手付金を土地代金の5％ほど納めました。
まだ、土地の決済も済んでおらず、所有権移転登記なども行っていない状態にも関わらず、エコポイントの申請などもあり、せかされるまま、土地の仲介をした不動産屋と懇意な関係にあるハウスメーカーと間取りも向こうの提示したプランで詳細が何も決まってない状態で、工事請負契約を結んで手付金や諸費用で数百万支払いました。

ですが、設計が進むうちに、注文住宅にも関わらず希望の間取りに出来そうもなく何度も仕様変更していること、外壁やドア・床・インテリア関係も自分が望むような物はほどんどがオプション扱いで、理想からどんどん遠ざかるのに、金額だけ上がっていくこと、担当営業を始め、そちらのメーカーの営業マン全体の態度が高圧的で上から目線で、この人たちと理想の家を作れるはずがない、ここに数千万もお金を払いたくないなどの思いが強くなってしまいました。
最近では打ち合わせをする度に憂鬱になります。

そんな中、他のことばかりに気を取られてある重要な部分を見落としていたことに気が付きました。
たぶん、住んでから気になり嫌になるだろうなという隣接している建物のことです。

まだ検討中ですが、このような場合に契約解除した場合に、土地は手付金放棄になってしまうと思いますが、建物については実費でどのくらい取られるものでしょうか？
営業に聞いたところでは、土地の地盤調査代、間取り・外構・内装の設計に掛かった費用、印紙代などは取られると言われました。

気持ちが揺れ動いていたにも関わらず、急いでしまった自分たちがいけないのですが、ローンを組んで実際に住み始めてから「辞めれば良かった」と思うよりは、手付け放棄などは本当にもったいないですが、今が決め時かと思います。

このような事情に詳しい方や同じような経験をされた方がいましたら、ぜひご意見や提案などいただけたらと思います。

宜しくお願いします。