В нижеприведённой статье Уголовно-Процессуального Кодекса изложены все обстоятельства исключающие участие в производстве по уголовному делу защитника, представителя потерпевшего, гражданского истца или гражданского ответчика

Статья 72. Обстоятельства, исключающие участие в производстве по уголовному делу защитника, представителя потерпевшего, гражданского истца или гражданского ответчика

1. Защитник, представитель потерпевшего, гражданского истца или гражданского ответчика не вправе участвовать в производстве по уголовному делу, если он:

1) ранее участвовал в производстве по данному уголовному делу в качестве судьи, прокурора, следователя, дознавателя, секретаря судебного заседания, свидетеля, эксперта, специалиста, переводчика или понятого;

2) является близким родственником или родственником судьи, прокурора, следователя, дознавателя, секретаря судебного заседания, принимавшего либо принимающего участие в производстве по данному уголовному делу, или лица, интересы которого противоречат интересам участника уголовного судопроизводства, заключившего с ним соглашение об оказании защиты;

3) оказывает или ранее оказывал юридическую помощь лицу, интересы которого противоречат интересам защищаемого им подозреваемого, обвиняемого либо представляемого им потерпевшего, гражданского истца, гражданского ответчика.

2. Решение об отводе защитника, представителя потерпевшего, гражданского истца или гражданского ответчика принимается в порядке, установленном частью первой статьи 69 настоящего Кодекса.

Касательно гражданского судопроизводства: в статье 51 Гражданского процессуального кодекса, предусмотрен закрытый перечень лиц,

которые НЕ МОГУТ быть представителями сторон (истца, ответчика) в гражданском процессе, а не уголовном процессе, а именно: это судьи, следователи, прокуроры. Они могут участвовать в качестве представителей соответствующих органов, то есть представлять суд, следствие, прокуратуру или участвовать в качестве законных представителей своих детей.

Таким образом, в вашем случае БЫВШИЙ судья, став адвокатом, вправе представлять интересы, как ответчика (или, как вы изволили выразиться, "быть адвокатом моему ответчику", так и истца. Законом не запрещается.