Имели ли право соседи делать калитку в наш двор и без просу заходить когда им захочется и еще и говорят что зашли в свой двор.

Разумеется нет! Статья 3. ЖК РФ: Неприкосновенность жилища и недопустимость его произвольного лишения

1. Жилище неприкосновенно.

2. Никто не вправе проникать в жилище без согласия проживающих в нем на законных основаниях граждан иначе как в предусмотренных настоящим Кодексом целях и в предусмотренных другим федеральным законом случаях и в порядке или на основании судебного решения.

3. Проникновение в жилище без согласия проживающих в нем на законных основаниях граждан допускается в случаях и в порядке, которые предусмотрены федеральным законом, только в целях спасения жизни граждан и (или) их имущества, обеспечения их личной безопасности или общественной безопасности при аварийных ситуациях, стихийных бедствиях, катастрофах, массовых беспорядках либо иных обстоятельствах чрезвычайного характера, а также в целях задержания лиц, подозреваемых в совершении преступлений, пресечения совершаемых преступлений или установления обстоятельств совершенного преступления либо произошедшего несчастного случая.

4. Никто не может быть выселен из жилища или ограничен в праве пользования жилищем, в том числе в праве получения коммунальных услуг, иначе как по основаниям и в порядке, которые предусмотрены настоящим Кодексом, другими федеральными законами.

Если у них нет такого права, то как же они так сделали?

Ну, а серьезно - если так как вы сообщаете, то защищайте свои права через суд и т.д.