Он требует срочно выплатить ему его долю 1/4 или грозится продать свою часть посторонним людям.

Участник долевой собственности вправе по своему усмотрению продать, подарить, завещать, отдать в залог свою долю либо распорядиться ею иным образом с соблюдением при ее возмездном отчуждении следующих правил. При продаже доли в праве общей собственности постороннему лицу остальные участники долевой собственности имеют преимущественное право покупки продаваемой доли по цене, за которую она продается, и на прочих равных условиях. Продавец доли обязан известить в письменной форме остальных участников долевой собственности о намерении продать свою долю постороннему лицу с указанием цены и других условий, на которых продает ее. Если остальные участники долевой собственности откажутся от покупки или не приобретут продаваемую долю в праве собственности на недвижимое имущество в течение месяца, а в праве собственности на движимое имущество в течение десяти дней со дня извещения, продавец вправе продать свою долю любому лицу. При продаже доли с нарушением преимущественного права покупки любой другой участник долевой собственности имеет право в течение трех месяцев требовать в судебном порядке перевода на него прав и обязанностей покупателя. Уступка преимущественного права покупки доли не допускается. Эти правила применяются также при отчуждении доли по договору мены. (ст.ст. 246, 250 ГК РФ)

ТО что Вы не хотите , чтобы он приходил в квартиру, это как говорится, Ваши проблемы, он как собственник её части имеет право там проживать, пользоваться и т.д. Но только сам - не других людей пускать. Вот если они станут собственниками в результате продажи, тогда получат аналогичные права.