房屋纠纷因煤矿采煤塌陷，集中成立搬迁区，我是五年前定的房子，户头用的是叔的名字，当时是口头说的，两年前将房款六万一付清，前不久叔又要补偿款，我又将补偿款二万五付清并立协议书怕其反悔。但现在他又反悔要把房子要回去。后中间人调解，将我所付房款全部退回算了事，都怕把事闹大，因为我老公是政府官员，怕对他工作影响不好，毕竟叔一家人是不讲道理的人，想大事化小。但最近我们总觉得心里憋气，我租房住了五年等待的房子竟然是这个结局，心里很不平衡，完全干扰我的正常生活，夫妻之间也因心情低落产生矛盾。房款退给叔的时候他没有立字据我也没有打收条给他，只是将钥匙给他了。想起他一次次反悔，我也想反悔一次以其人之道还其人之身。请问我可以凭借当时的协议书再将房子要回吗？