実施設計完了後に高額の見積！設計キャンセルできるか？

[契約済みさん]

注文住宅を設計事務所で作ろうとしている者です。
設計事務所の進め方や、費用について納得がいかず、支払い済みの費用も含めてすべて引き上げたいと思っていますが可能でしょうか？

以下がこれまでの流れです。
契約1月前
設計事務所からの営業。プランの相談。設計事務所自身が、自社の特徴としてコスト管理力を強調。

契約月
概算が提示される。（ぎりぎり予算額内）
まだ土地の取得の交渉中だったが、「その部分も手伝います」と。それほど手伝ってもらってはいないがアドバイスはもらった。
先に出された概算に基づいてローン契約。
建築プロデュース契約および第一次支払い（約200万）

契約一月後
設計開始（とはいいつつ最初の一月はあまりやり取りなし。契約が取れる前は積極的だったのに、とれたらこんなものか？っとちょっと心配に）

契約後二カ月
毎週のように設計打ち合わせ。
ただ毎回前週に言ったことのすべてが反映されてはいない。何度も何度も薄い線をなぞって濃くしていくように設計が進む。こんなものなのか？

契約後三カ月
理想の家にだいぶ近づいてきた。
ただ妥協を全くしていないため、費用オーバーを心配し始める。
再三、概算見積もりの再提示を依頼したが「範囲内に入っています」というだけで出てこず。そのあとも毎週依頼するが「範囲内なので大丈夫」としか言われず。

契約後四カ月
実施設計完了の支払いを求められる。
まだフローリングや、下駄箱の下の地窓の高さや、浴槽が決まっていないのだが、設計事務所からは「そういったものは実施設計完了後に現地で進めながら決めるもの」「ニーズは分かっているので、低くない高いクラスの想定製品で見積もっているので、あとから調整しましょう」「費用は範囲内に収まっている」「実施設計は完了している」といわれる。この時点でも見積もりは再提示されず。（この会話はテープレコーダで録音してある）
信じて第二次支払い。（約200万）
建築確認申請提出。

契約後五カ月
ビルダー選定結果として最も良いとされる工務店を紹介される。
そのさいにようやく概算が提示される。約800万の予算オーバーが判明。

解約するので全部返金して欲しいといった場合に、先方からの反論として「せめてこれまで実費工数分を支払え」と言ってきそうです。
そもそも「予算内に入っている」と言われ、無駄な工数を、こちらも先方も長い間費やしただけの工数のような気がします。
もともとこちらが提示したコスト内で設計をする契約をしたにもかかわらず勝手にコストを無視した夢の設計に付き合わされただけだと思います。

すべて（設計費用）を引き上げることは可能でしょうか？