請負契約破棄しようかと迷っています

[なち]

今現在大手HMとの請負契約を破棄しようかと悩んでいます。理由は契約後に両親の借金がわかり場合によっては私が援助しなけ
ればいけない可能性が出てきたからです。あと自分の年収に対して7倍ちかい借り入れとなるので見直したいという思いがあります。

現状としては

１、建物は請負契約済み、まだ図面承認は終わっていない状態で部材などは発注していない状態。前金として30万円ほど支払い済み。契約破棄の考えは既に伝えていて今見積もりを取っていただいている最中です。契約書では受領済みの代金から実費を差し引き、実費が上回る場合は請求ができるとなっています。契約前に土地調査などはHM側で行っています。

２、土地に関してはHMからの紹介で地元不動産から購入予定です、HM側から購入の考えは伝わっていますがまだ契約前で金銭も
支払っておりません。とりあえず諸事情があり契約予定日をずらしてもらうようお願いする予定です。

できれば違約金ではなく前金のみの支払いでいきたいのですがHM側としては難しいとの判断です。なんとか前金の支払いだけで
すまないものでしょうか？