Сложившаяся ситуация в коммунальной квартире - как правильно поступить и решить проблему?

Купила комнату в коммунальной трехкомнатной квартире в ипотеку. Все комнаты в квартире приватизированы. Кроме меня, в квартире в других двух комнатах в одной проживает женщина 60 лет и в другой одинокий мужчина лет 50 с несовершеннолетней дочерью. Женщина предложила этому мужчине в качестве квартирантки заселить ему и его дочке в комнату молодую девушку, он согласился. Дело в том, что с этим мужчиной у меня ещё совсем недавно был роман, есть к нему чувства, но как только наша соседка предложила ему в качестве квартирантки девушку он охладел ко мне, стал вообще не пускать в свою комнату, когда мы не одни в квартире объявил что скоро у него у него поселится женщина, признался мне, что наша соседка попросила его прекратить со мной отношения, раз он согласился принять у себя её знакомую. Мне он успел сообщить, что ему нужны деньги и квартирантка ему не помешает. Планирует жить с ней в одной комнате, тут же будет проживать его несовершеннолетняя дочь. Конкретно мне мужчина стал советовать срочно в течении пары месяцев искать себе мужа с отдельным жильём, уходить к нему на его жилплощадь, а мою комнату отдать обратно тому банку, у которого я брала ипотеку. Я сказала, что если и уйду куда из своей комнаты жить, то буду сдавать свою комнату одному или паре квартирантов, кого найду, мужчина, ответил что он и вторая соседка запрещают мне это делать, поскольку я не буду проживать с квартирантами, в моё отсутствие они могут сломать что нибудь в местах общего пользования, ответственность будет на мне, а он будет проживать со своей квартранткой, которую ему предлагает вторая наша соседка, будет её контролировать. Скажите пожалуйста, как мне правильно поступить в сложившейся ситуации? Спасибо.