24時間換気の停止について

[匿名さん]

戸建てのオール電化に住んでいます。
暖房はエアコンのみですが、リビングは24時間エアコン掛けている為、
湿度は35％~40%前後で推移しています。

この寒気の影響でエアコンでの温まりが弱くなっているので、
24時間換気システム（第一種熱交換式）の1階を止めようと思っています。
換気が無くなれば温まりも良くなるし、湿度も低いので結露なども
出ないと思うのですが、考えが甘いでしょうか？
※風呂場、トイレ1F・2Fの換気扇、2階の24時間換気システムは付いたままです。

知識の豊富な皆様のご意見をお待ちしております。