ローン減税の条件について

[匿名さん]

1年半前に注文住宅購入のため以下の条件でローンを組みました。
土地分(先行)　変動金利　35年　3180万円
建物分　　 　フラット35　35年　820万円

市場動向を見ながら金利が高いフラット35の方を中心に繰り上げ返済を何度か行い現状は以下のようになっています。返済額軽減型なので残年数は33年以上です。

土地分　2900万円
建物分　108万円

近々さらに200万円ほど返済額軽減型で繰り上げ返済しようと思っているのですが建物分を完済してしまったらローン減税は受けられなくなってしまう認識であっていますか？
条件としては1円でも建物分が残っていれば大丈夫ですか？
たとえば約200万繰上げ返済して以下のようにする感じです。

土地分　2800万円
建物分　1万円

Webで調べているのですが明確な答えが見つけられなかったので質問させていただきました。
よろしくお願いします。