Прописан муж, наш маленький сын, отец муж и брат мужа.

Наниматель жилого помещения по договору социального найма с согласия в письменной форме наймодателя и проживающих совместно с ним членов его семьи, в том числе временно отсутствующих членов его семьи, вправе осуществить обмен занимаемого ими жилого помещения на жилое помещение, предоставленное по договору социального найма другому нанимателю.

Проживающие совместно с нанимателем члены его семьи вправе требовать от нанимателя обмена занимаемого ими жилого помещения по договору социального найма на жилые помещения, предоставленные по договорам социального найма другим нанимателям и находящиеся в разных домах или квартирах.

Если между нанимателем жилого помещения по договору социального найма и проживающими совместно с ним членами его семьи не достигнуто соглашение об обмене, любой из них вправе требовать осуществления принудительного обмена занимаемого жилого помещения в судебном порядке. При этом учитываются заслуживающие внимания доводы и законные интересы лиц, проживающих в обмениваемом жилом помещении. (ст. 72 ЖК РФ)

да, согласие нужно всех, причем оформленное у нотариуса. Вам лучше сходить в ДЖП в единое окно, там Вам бесплатно дадут перечень всех необходимых документов, он довольно большой.