租房者退房要付违约金，但租房者与房东协商一致提前终止租房合同的，或者房屋具有瑕疵不能实现合同目的、危及承租人安全健康情形迫使租房者提前终止租房合同且租房者不存在过错的，租房者不需要付违约金。

法律依据

《民法典》第五百七十七条当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。第七百二十四条有下列情形之一，非因承租人原因致使租赁物无法使用的，承租人可以解除合同：（一）租赁物被司法机关或者行政机关依法查封、扣押；（二）租赁物权属有争议；（三）租赁物具有违反法律、行政法规关于使用条件的强制性规定情形。第七百二十九条因租赁物部分或者全部毁损、灭失，致使不能实现合同目的的，承租人可以解除合同。第七百三十一条租赁物危及承租人的安全或者健康的，即使承租人订立合同时明知该租赁物质量不合格，承租人仍然可以随时解除合同。