Как решить противоречие - мне не нравится нахождение посторонних в квартире, но полиция не может их выпроводить?

В соответствии со ст. 69 Жилищного кодекса РФ наниматель (когда квартира муниципальная) и члены его семьи (независимо от того кто кем является) пользуются РАВНЫМИ правами и несут равные обязанности. Из этого следует, что любая форма распоряжения и пользования жилым помещением должна быть согласована с членами семьи (нанимателем). Кратковременное посещение жилого помещения нормами жилищного кодекса не регулируется. Временное проживание и нахождения в жилом помещении допускается только с согласия всех, имеющих права пользования жилым помещением.

В идеале, если вы имеется право пользования данным жилым помещением (вселены в него с согласия всех и проживаете, имеете регистрацию), то все действия, связанные с пользованием квартирой должны быть согласованы с вами, поскольку у вас равные права с остальными проживающими. Но боюсь на практике действенных методов считаться с вашим мнением не много. Проще объясниться с братом. Вы можете, конечно, теоретически, обратиться в суд с иском о понуждении брата без согласования с вами не допускать в жилое помещение посторонних лиц, но боюсь вы вряд ли сможете доказать что такие ситуации имели место и исполнить потом это решение. Таких исков я не встречала. Одним из выходов является определение порядке пользования жилым помещением (если в нем несколько комнат). Вы можете определить в пользование себе конкретную комнату и запретить брату там бывать с гостями.

Так полиция говорит, он их пригласил на этом основании они и попали в квартиру и находиться в ней с его разрешения.

Определение право пользование жилым помещением не возможно суд отклонил такой иск.