Obligation de donner congé de mon hlm

En 1989 j'ai obtenu un logement HLM dans le 77. Depuis 2000 ayant acquit une résidence secondaire dans l'Aisne j'ai inversé les deux résidences transformant le 77 en secondaire et l'Aisne en principale. Tous les ans une enquête est faite par les HLM pour les surloyers nous demandant la feuille d'imposition des ocuupants où mon fils marié un enfant continuent d'habiter. Jusqu'à ce jour pas de problème avec les HLM, mais cette semaine une lettre de leur part en me demandant de donner congé pour ce logement car je n'y habite pas moi même (feuille d'impots dans l'aisne). Je leur ai demandé si mon fils pouvait le conserver en transformant le bail. Mais ils m'affirment que c'est impossible et qu'ils doivent partir ainsi que moi même. Ils ne pourraient l'obtenir qu'en cas de décès de moi même. Je ne sais plus comment faire d'autant plus que cet après midi même deux avis différents m'ont été donnés par leurs services. D'après la responsable ils ne peuvent le conserver alors que mon fils a toujours habité ce logement. Pouvez vous m'aider dans les démarches à suivre et où me renseigner pour essayer de solutionner ce problème. . Sincères salutations.
Merci