契約解除の手付金返金について

[契約済みさん]

先日、手付金(10万円)を払って契約したのですが、
こちらの勝手な都合により契約の解除を決めました。

手付金を放棄すれば契約は解除できると思うのですが、
まだローン審査前で、ローンが通らなければ手付金も戻ってきます。
ローン審査が通ってしまうと違約金って発生するのでしょうか？

自分勝手なのはわかってますが、
ローン審査の結果を待って解約しようか、
すぐに解約しようか悩んでます。