Как защитить свое право на жилье в случае угрозы судом со стороны родного брата?

Я мои трое детей прописаны в однокомнатной квартире, там же прописан мой родной брат и его несовершеннолетняя дочь, я фактически с ним не проживаю, у меня есть в собственности квартира, которую я получила в наследство, так вот брат начал мне угрожать судом и пытается меня заставить от туда выписаться, правомерно ли это, и может ли он меня выписать от туда по суду.