Магазин требует платить за кражу в 5 раз больше суммы и грозит не вернуть залоговые права без оплаты

Такой штраф (в 5-кратном размере) взыскивается в пользу государства, а не магазина. Статья 7.27 КоАП. Магазин только может требовать от вас возместить товар в однократном размере, т.е. в сумме причиненного им ущерба (т.е. 850 р).

Что касается оставленных вами в залог прав, то тут, они просто могут написать на вас заявление в полицию, предоставить доказательства того что вы совершили кражу. Даже по просроченным правам вас быстро найдут.

Итог: требовать оплатить штраф на месте они не имеют права, Ю имеют права только требовать возмещения т.е. 850 р., если же они обратятся в полицию, то уже на вас будет составлен административный протокол и вы уже будете должны заплатить 4200, но уже государству.