Accord pour partir sans preavis du proprietaire, l agence bloque

Bonjour,

actuellement locataire d'un logement tops petit pour ma famille (6 personnes) et 2 chambres.
j ai trouve la semaine derniere une location correspondant a ma recherche ,mais libre de suite.
Ma propriétaire connaissant la situation m'autorise a partir sans préavis,et ma la mis sur papier.
Mais l agence qui gère l appartement est contre et dit que ce n est pas possible malgré son autorisation.
Et d apres mes renseignement ils n ont pas le droit de s 'opposer au propriétaire du bien.

donc ma question est simple
suis je en droit ou pas

si oui comment leur prouver leur mauvaise fois

merci d'avance