我與中介簽訂了一份房產(chǎn)買賣合同，簽訂這份買賣合同當日后對方給我交付了一萬元定金，次日與我一起去銀行辦理房產(chǎn)貸款結清，墊付了52萬元左右，因我購房合同丟失當日未辦理房產(chǎn)證等手續(xù)，于是在兩三天后我與我愛人商量時，不同意以這個價格出手。而后辦理了抵押借款，想給這個中介退還押金和墊付款時，對方要求我賠付3萬元違約金，想咨詢一下這個事怎么辦。我只想全額給他退還這些錢。