Может ли школа отчислить 18-летнего мальчика, не сдавшего экзамены за 9 класс на семейной форме образования?

Да, может отчислить, т.е. он достиг 15 летнего возрата и не сдал итоговую аттестацию. Ст.61 ФЗ "Об образовани в РФ":

Статья 61. Прекращение образовательных отношений

1. Образовательные отношения прекращаются в связи с отчислением обучающегося из организации, осуществляющей образовательную деятельность:

1) в связи с получением образования (завершением обучения);

2) досрочно по основаниям, установленным частью 2 настоящей статьи.

2. Образовательные отношения могут быть прекращены досрочно в следующих случаях:

1) по инициативе обучающегося или родителей (законных представителей) несовершеннолетнего обучающегося, в том числе в случае перевода обучающегося для продолжения освоения образовательной программы в другую организацию, осуществляющую образовательную деятельность;

2) по инициативе организации, осуществляющей образовательную деятельность, в случае применения к обучающемуся, достигшему возраста пятнадцати лет, отчисления как меры дисциплинарного взыскания, в случае невыполнения обучающимся по профессиональной образовательной программе обязанностей по добросовестному освоению такой образовательной программы и выполнению учебного плана, а также в случае установления нарушения порядка приема в образовательную организацию, повлекшего по вине обучающегося его незаконное зачисление в образовательную организацию;

3) по обстоятельствам, не зависящим от воли обучающегося или родителей (законных представителей) несовершеннолетнего обучающегося и организации, осуществляющей образовательную деятельность, в том числе в случае ликвидации организации, осуществляющей образовательную деятельность.

3. Досрочное прекращение образовательных отношений по инициативе обучающегося или родителей (законных представителей) несовершеннолетнего обучающегося не влечет за собой возникновение каких-либо дополнительных, в том числе материальных, обязательств указанного обучающегося перед организацией, осуществляющей образовательную деятельность.

4. Основанием для прекращения образовательных отношений является распорядительный акт организации, осуществляющей образовательную деятельность, об отчислении обучающегося из этой организации. Если с обучающимся или родителями (законными представителями) несовершеннолетнего обучающегося заключен договор об оказании платных образовательных услуг, при досрочном прекращении образовательных отношений такой договор расторгается на основании распорядительного акта организации, осуществляющей образовательную деятельность, об отчислении обучающегося из этой организации. Права и обязанности обучающегося, предусмотренные законодательством об образовании и локальными нормативными актами организации, осуществляющей образовательную деятельность, прекращаются с даты его отчисления из организации, осуществляющей образовательную деятельность.

5. При досрочном прекращении образовательных отношений организация, осуществляющая образовательную деятельность, в трехдневный срок после издания распорядительного акта об отчислении обучающегося выдает лицу, отчисленному из этой организации, справку об обучении в соответствии с частью 12 статьи 60 настоящего Федерального закона.