诽谤、名誉问题 你好，律师。我父亲于2005年给一老乡介绍了一套房子，后老乡与卖房人签订了购房协议，具体购房事宜买卖双方自行商量的，我父亲未参与他们之间的买卖事宜，后因房屋涨价，卖方让买方再多付钱，买方不同意，卖方至今也不给卖方过户，而卖方又搬到外地去了。
现在的问题是：买方一家总是认为是我父亲给他们介绍的房子不好，总是怨我父亲，把未过户的事情赖到我爸这。最近两年还来我父亲的单位闹，因未引起领导的重视，现在又让他的神经病老婆（轻微）来家里闹，他老婆还到处编瞎话，说我父亲和她好，经常来我家里砸门。因顾及老乡情面，我家一直没有理他们。现在他们见我们不理他，更变本加厉了，三天两头来家里砸门，而且转移话题，他们说：“不是房子事了，现在找你们是搞老婆的事。”因我母亲有高血压，现在不得不躲出去租房子住了。
每次他们来闹，我都没有报警，而且也没有证据。
请问这个事情我怎么解决？如果到法院，以什么名义起诉？在没有证据的情况下，可以胜诉吗，需要什么证据？

以侵犯名誉权起诉对方的，并按照这方面收集证据的