Может ли заявление по вымогательству в полицию быть оформлено там как отказная с советом обратиться в мировой суд?

Может, вам нужно будет доказать факт вымогательства в судебном порядке

Ваше заявление - это ВАШЕ заявление, а не отказ полиции.

А ответ полиции может быть в виде постановления об отказе в возбуждении уголовного дела с предложением самостоятельно обращаться в суд.

Это предусмотрено законом.

Если вы считаете, что ответ полиции нарушает ваши права, то можете писать жалобу прокурору.