Могу ли я без разрешения отца ходить к матери? Как защитить свои права в ситуации развода родителей?

Родители в разводе (уже 3 года). Есть маленький братишка (8 лет) . Он живёт с матерью, а я остался с отцом. При разводе отец надавил на жалость и попросил остаться с ним. Как я сейчас это понял, для того, чтобы не платить алименты. Он надо мной издевается, я не хочу с ним жить, но сказать боюсь. Могу ли я без разрешения отца ходить с начёвкой к маме? Заходил наш с ним разговор на этот вопрос, и он сказал что приедет за мной к маме с сотрудниками Полиции. Моё мнение ничего не значит в этой ситуации? Мне 17 лет. До 18-летия ещё пол года.