我爸爸以前經(jīng)人介紹認(rèn)識(shí)了一個(gè)女的，兩個(gè)在一起沒有領(lǐng)證，叫了幾個(gè)親戚坐在一起說了說就在一起了，簽了個(gè)協(xié)議誰說不過了就給另一方十萬，簽了字，按了手印，本來剛開始說是兩邊的家庭都照顧，后來我爸基本都在女方那一邊，五六年了每年在女方家里都最少超過了半年，女方家里有大面積的農(nóng)活，地里活都是我爸在干，平時(shí)偶爾給我爸點(diǎn)零花錢，我還在上學(xué)時(shí)我爸沒錢女方就給了幾千塊錢，前段時(shí)間我爸生病住院醫(yī)生就說的不能干重活了，所以我們就讓我爸在自己家里，不去女方家里了，女方每次都到處宣傳，親戚朋友哪里說我們這邊家里的壞話，這次給派出所，政府，村上打電話騷擾還要我們支付協(xié)議的十萬，已經(jīng)影響到親戚朋友他們的正常生活了，該怎么辦？