Кто прав - должны ли продавцы вернуть задаток покупателям в случае передумывания?

Вот такая ситуация: у нас есть дом, внеплановый. Основных документов, подтверждающих право собственности нет, документы оформлять хотели, но возникли трудности, пока с документами решили немножко повременить. А тут нашлись люди, которым понравился дом. У нас захотели его купить, мы честно предупредили покупателя, что документов нет, сказали, чтобы они подумали насчет покупки, чтобы потом не было никаких проблем. Люди сказали, что нет, нет, мы подумали и решили покупать, мы знаем как всё правильно оформить в собственность, мы будем этим заниматься, нам дом очень нравится. Они нам дали задаток, был подписан документ о получении задатка в котором оговаривались все условия, сумма, все данные покупателя и продавца, указывалось, что это именно задаток, а не аванс. Прописывались также условия, что в случае если покупатель передумывает, то задаток ему не возвращается, если передумывает продавец, то задаток возвращается в двойном размере. Были поставлены подписи обоих сторон. В результате вышло, что покупатели внезапно передумали и теперь требуют вернуть весь задаток и если не вернем, то они подадут на нас в суд. Скажите пожалуйста кто прав в таком случае и обязаны мы возвращать деньги или нет? Заранее спасибо.