要回探望权我和他已经离婚了，是协议离…

要回探望权我和他已经离婚了，是协议离婚的，孩子由他抚养，近段时间他找各种借口不让我探望孩子，以前探望孩子都可以的，我该起诉他要回我的探望权吗？