Могу ли я ограничить общение бывшего мужа своей жены с ребёнком, чтобы последнему не теребили душу

Здравствуйте, Я 3 года воспитываю сына жены (6 лет) от её первого брака, отношения прекрасные, меня называет папой. Биологический отец живёт в другом городе, в воспитании ребёнка участия не принимает, периодически появляется, просит дать сына ему на несколько дней - при этом моя жена против, но мы идём ему навстречу, т.к. он имеет право общаться с ним. В итоге ребёнок уезжает неизвестно куда, кормят его там плохо (возвращается похудевшим), его там учат, что отвечать на наши расспросы - судя по его рассказам, вместе с ними жила любовница биологического отца. Нас с женой обманывает- вместо названного населённого пункта проводят время в другом, телефон выключает и потом не перезванивает. При этом требует, чтобы ребёнка мы ему привозили и забирали из того места, где будет удобнее ему, мотивируя тем, что уже купил билеты на поезд/ самолёт. Могу ли я ограничить общение бывшего мужа своей жены с ребёнком, чтобы последнему не теребили душу, не пускать его в свою квартиру (тот настойчиво пытается в неё проникнуть, якобы, чтобы посмотреть, как живёт его сын), оградить свою семью от такого беспардонного вмешательства неприятного для всех человека? Как это законно сделать? Спасибо!