纠纷乙方租房协议签定后一直不交第一次…

纠纷乙方租房协议签定后一直不交第一次房款.以不住为由,已经20天,现在他以没住为由,想解除合同,我是否应该让他补交房款和违约金.这个要求过分吗