解約したいんです・・・

[ＹＹＹ]

初心者なので説明が足りない場合はお許しください。以下、長文になります。
つい2週間前に、広告で気になっていた物件を主人と子どもと一緒に見に行きました。
その時はモデルハウスのみをさらっと見学して帰ろうという軽い気持ちだったのですが、担当者に引き留められるままいろんな説明を２〜３時間ほど受け、最後に、別の場所にある住宅館(工法などが実際に見られる所)見学に誘われ、言われるがまま翌週に予約を入れられてしまいました。
そしてその住宅館見学を終えると今度は「明日が○号地の抽選日になります」と言われ、迷ったあげく、申し込み証拠金を1.5万円支払い、申し込んでしまいました。この時点で、当選の場合は翌日に手付け金を振り込み、本社にて契約をしてもらう。という説明がありました。手付け金は本来は1割だが300万でも200万でもいいと。
その翌日、当選の電話がありました。明日の手付け金振り込みにはお子さんがいて大変でしょうから立ち会います。10時に迎えにあがります。と言われ、私も「お願いします」と言い電話を切りました。そして翌朝に200万を振り込み、その日の夜に主人とともに本社に出向き、重要事項説明を受け契約書にサインをしました。
その後よくよく考えてみたら、かなり契約を急かされた気がしてその業者にたいして不信感でいっぱいになり、解約したくなりました。
でも手付け金は返ってこない旨が契約書に書かれてあります。
今日、主人が宅建協会に相談したところ、手付けはまず返ってこないという前提ではあるものの、契約書にサインする前に手付け金を振り込んだこと、手付け金が契約後は返ってこないということの説明が振り込み前に一切なかったこと(担当者も認めている)については追及できるとして弁護士さんに相談することを勧められました。
私たち夫婦に落ち度があり充分反省しています。
ですが泣き寝入りもしたくありません。
このようなことはよくあることで、訴えても無駄なのでしょうか。
どうかお知恵をお貸しください・・・
長文を読んで頂きありがとうございました。