房子费用我在凤城交首付购了一套住房,…

房子费用我在凤城交首付购了一套住房,可是地产商还让缴纳贷款保证金,可是据我所知贷款保证金是银行向地产商收取的费用,所以我觉得此项费用不合理,我不想交,但是我现在的贷款还没有办下来!如果地产商坚持要我缴纳贷款保证金的话,我想要退房,不知道这样的话我是否能要回首付款?