А они тут как тут, забрали права, сказав что ехал навстречу потоку.

По смыслу КоАП РФ лишением прав наказывается выезд на полосу встречного движения, если он сопряжен с нарушением ПДД. В протоколе инспекторы должны были написать, какой пункт ПДД Вы, по их мнению, нарушили. Что же Вы могли нарушить? Либо указание знака 5.5 ("Дорога с односторонним движением", либо кирпич, висевший с другого конца дорога. Для того, чтобы привлечь Вас к ответственности за административное правонарушение, инспекторы ГИБДД должны доказать, что Вы выехали на дорогу с односторонним движением навстречу разрешенному направлению именно в нарушение требований знака или разметки. То есть - что Вы знак видели и игнорировали его требования.

Но поскольку, выезжая из двора, Вы никакого знака, запрещающего движение налево, не видели (его там и нет), то ПДД Вы не нарушили, а следовательно, и административной ответственности не подлежите.

Разумеется, Вам придется в суде объяснить, каким образом Ваша машина попала во двор. Если выяснится, что Вы въехали с той стороны, где стоит знак 5.5, а потом поехали из двора обратно, то считайте, что 4 месяца без прав Вам обеспечено. Это будет означать, что Вы были осведомлены о требованиях знака, но забыли о них, что не освобождает об ответственности.

И еще: конечно, инспекторы ГИБДД должны доказывать Вашу вину. Но российские суды зачастую обращаются с законом, как с дышлом - по известной пословице. И вполне может быть, что мировой судья потребует от Вас (в нарушение закона!) доказательств того, что Вы выехали из двора, а во двор проехали так, что не видели никаких знаков. Тут было бы неплохо, чтобы был какой-то свидетель (свидетели), которые могли бы это подтвердить.