离婚我们是2000年结婚，婚前各有一套房，他的有房照，我的没有，我交房款时在他手里借了一万，因我的是新房子（1998年交的款），就装修我的房子结婚，他说要贷款1万装修（因为没钱了），我说那我也贷款一万元（生气啊，都贷款，婚后都还）。就用我的房贷款2万元，贷款下来后我把2万元的存折给了他并说借的钱还你了，婚后他和他的孩子住我这，他的房子租了出去每月300多，后期租400多。因刚结婚时感情好他说贷款他还，5年后还清贷款。先要离婚，他管我要这1万元借款，我说还了，他说贷款都是他还得，不是算我没给他钱。请问怎么办？