Какова ответственность поставщика за просрочку поставки в этом случае, и есть ли она вообще?

Зависит от формы оплаты. При предварительной - будет. В противном случае, если не оговорена неустойка за просрочку - не будет.

ГК РФ.

"Статья 487. Предварительная оплата товара

1. В случаях, когда договором купли-продажи предусмотрена обязанность покупателя оплатить товар полностью или частично до передачи продавцом товара (предварительная оплата), покупатель должен произвести оплату в срок, предусмотренный договором, а если такой срок договором не предусмотрен, в срок, определенный в соответствии со статьей 314 настоящего Кодекса.

2. В случае неисполнения покупателем обязанности предварительно оплатить товар применяются правила, предусмотренные статьей 328 настоящего Кодекса.

3. В случае, когда продавец, получивший сумму предварительной оплаты, не исполняет обязанность по передаче товара в установленный срок (статья 457), покупатель вправе потребовать передачи оплаченного товара или возврата суммы предварительной оплаты за товар, не переданный продавцом.

4. В случае, когда продавец не исполняет обязанность по передаче предварительно оплаченного товара и иное не предусмотрено договором купли-продажи, на сумму предварительной оплаты подлежат уплате проценты в соответствии со статьей 395 настоящего Кодекса со дня, когда по договору передача товара должна была быть произведена, до дня передачи товара покупателю или возврата ему предварительно уплаченной им суммы. Договором может быть предусмотрена обязанность продавца уплачивать проценты на сумму предварительной оплаты со дня получения этой суммы от покупателя".