Demande de mutation refusé depuis 5 ans

j'occupe un logement hlm depuis 10 ans, depuis 5 ans je renouvelle chaque année ma demande de mutation pour un autre logement car nous vivons mes 2 enfants et mon conjoint dans un f3 de 50 m² qui n'a qu'une seule chambre. Plusieurs logements se sont libérer entre temps dans mon quartier mais le bailleur ne m'en à jamais proposé un. A chaque fois je lui demande les raisons pourl esquelles il ne me les proposes pas et je n'obtiens aucunes réponses. Cela fait donc 5 ans que nous dormons à 4 dans une chambre de 8 m² mes enfant ont 4 ans et 14 mois. Je suis à bout de nerf et je ne vois aucune issus à mon probléme.

Pouvez-vous me conseiller sur les recours qui m'aideront à faire avancer mon dossier.
Je vous en remercie