如何终止房屋租赁合同我一次性交了三年…

如何终止房屋租赁合同我一次性交了三年的房屋租金，也签了合同，现在根据我个人的收入情况，没办法承担高额的租金。私下我与对方洽谈过，让他把剩余的租金退还给我，并且我也愿意赔偿他损失，可是对方不愿意终止或解除合同，请问，我可不可以用法律来终止合同？