与人合租了一个房子， 他租主卧我租次卧，因为是分别找的我爱我家房屋中介找的房子 与人合租了一个房子， 他租主卧我租次卧，因为是分别找的我爱我家房屋中介找的房子，所以他与我爱我家签的合同我又与合租人签的合同相当于他每个月把房租付给中介我再把我那份的房租给合租人，现住一个月还不到合同期限四个月，合租人却因自身问题不想继续租赁导致这个月到期中介要收回房子我也不能继续住下去了，按照合同约定合租人应该负担两倍月租的违约金，但是他却说中介不退他押金（中介说只有等着房子再次租出去才能退他押金）他就不给我。我想咨询一下这种情况下怎么办？另外除了违约金合租人要不要承担我搬家或者什么其他的损失呢？

协商不成 可以起诉