Congé locataire avec titulaire du bail différent de occupant

Bonjour,

Je suis propriétaire d'un appartement mis en location il y a 5 ans à un couple, le mandat de location est à leurs 2 noms. Depuis environ 2 ans, ce couple a divorcé ; le monsieur, père d'une fille qui est mariée et a 2 enfants, est resté dans l'appartement et a cohabité avec sa fille et sa famille sans qu'on le sache officiellement et sans que le bail ne soit changé en quoi que ce soit. Depuis un certain temps (un an 1/2 peut-être), la père est parti et a laissé l'appartement à sa fille et sa famille (mari et 2 enfants en bas âge), encore une fois sans qu'on le sache officiellement et sans que le bail ne soit changé en quoi que ce soit.
J'ai de plus de gros problèmes de paiement et de grandes difficultés de voisinage (nombreuses lettres et coup de téléphone du syndic, du conseil syndical et des voisins, mains courantes...) . Je
voudrais donc profiter de l'échéance du bail (novembre 2011) pour donner congé et reprendre l'appartement pour ma propre fille.
Je sais que je dois donner le congé 6 mois avant la date d'échéance par lettre recommandée mais je ne sais à qui adresser cette lettre. Normalement, je devrais l'adresser aux deux titulaires du bail mais ils n'habitent plus là et n'iront pas chercher la lettre. Si je l'adresse aux occupants effectifs, la lettre sera-t-elle valable ? puisque j'ai lu qu'il fallait l'adresser au titulaire du bail et non pas à l'occupant.
Il m'est impossible de "louper" l'échéance future du bail pour récupérer mon appartement.
Que me conseillez-vous ?