Usufruit et droit de l'usufrutier

Je suis propriétaire d'une maison dont ma mère à l'usufruit puisque cette maison lui appartenait et que j'ai racheté la part de mes 2 frères au décès de mon père. Tout ceci fait par acte notarié. A l'époque du rachat j'ai agrandi la maison afin que nous puissions ma mère et moi habiter chacune de notre coté dans 2 parties distinctes. A cette même époque nous avons accepté d'héberger sur la partie de ma mère, mon frère qui venait de divorcer. Il y a 6 mois nous avons demandé l'accord à ma mère de vendre cette maison pour en acheter 2 autres dont une pour la reloger elle et mon frère mais ceci a été mal perçu et à créé des histoires de famille. De ce fait ma mère refuse la vente de la maison. Nous avons donc demandé à mon frère de se chercher un appartement mais comme il est rmiste il n'a soit disant droit à rien. Nous souhaitons malgré tout qu'il parte. Ma mère et lui-même menace de nous mettre au tribunal. question : ma mère est-elle en droit de l'héberger dans sa partie sans notre accord ? quels sont leurs droits et quels sont les nôtres ?