ローンが通らなかったら契約解除できるのか？

[ビギナー]

気に入った土地が見つかったので１０万円払って押さえてもらっています。３ヵ月以内に決めてくれればいいと言われていて、期限があと２週間です。土地探しと平行して上物の施工会社を検討していましたが、そちらはなかなか決められないでいます。大事な家のことなのでいくつもの工務店に話を聞きにいき、見積もりを取っているところです。私も妻も不定休の仕事のため、なかなか時間が合わなくて、工務店を決めるのに時間がかかっている状態です。その土地はとても気に入っているので、期限内に契約を済ませたいと思っています。が、施工会社を決めて工事請負契約を交わすのにはまだまだ時間がかかりそうです。土地を買うだけの現金はあるので現金で支払おうと思っていますが、もし数か月後に建物を決めてローンの審査で万が一通らなかった場合、土地を解約することはできるのでしょうか。。できないですよね？数百万の土地だけ買って、建物が建てられなかったらシャレにならないのですが、こういう場合どうすればよいのでしょうか？