Продажа квартиры пенсионером - вопросы задатка и возврата денег

Отец пенсионер и инвалид 1 й группы, решил продать квартиру, он собственник, один прописан. Пришли покупатели, покупают, но пока нет денег у них, купят в течении месяц-два. Составили они от руки Соглашение о задатке, без свидетелей. Прописали там 20000 р и отдали их отцу. В соглашении написано, что если продавец (отец мой) откажется, то в двойном размере нужно вернуть, т.е уже 40000 р и есть пункт в соглашении, типа и иные затраты покупателя. Нигде соглашение не заверялось юридически, кроме него никаких документов не оформляли, никаких расписок, только это соглашение. Покупатели тянут время, уже 4 месяца, приезжали и говорят еще якобы два месяца ждать или требуют 40 000 р вернуть. Вопрос прост у меня, это законно с их стороны? И. может ли отец вернуть им только 20000 р полученных от них? Зрение у него плохое и на пункт в двойном размере он не обратил внимание. Мне кажется они аферисты, таким образом набирают людей пенсионеров и потом в двойном размере требуют деньги (лишь мои предположения, не обвинения). Он не хочет отказаться от продажи, но если время покупатели тянут, то нужно другим продать. Как ему (нам) вернуть им только лишь полученные 20000 р и возможно ли это? ибо они требуют 40000 р, но и не хотят от покупки отказываться, а время идет, сомнительно все это. Они и не против получить 40 т. р и в то же время просят ждать, без конкретных сроков. Сроки в соглашении не указаны.