我42歲已婚，一男性老糾纏不休一年了，他是我初中同學(xué)，也是我的同鄉(xiāng)，還到我家提過親，但我選擇了別人，他是個公務(wù)員，離了婚，沒小孩，老跑到我家門外和居住地來亂說謠言，說我跟他是情人，有關(guān)系，破壞名譽，問他，他說沒來，不承認(rèn)，我家不是當(dāng)?shù)厝耍瑒e人不知我的底細(xì)，還相信他的話，跟著亂說，沒人作證，我快要承受不了，該怎么辦？