Remboursement anticipé de prêt

Bonjour,
J'ai été licencié en septembre dernier, j'ai donc décidé de vendre mon appartement.
Cette vente s'est effectuée chez notaire jeudi 19. J'ai donc décidé de rembourser par anticipation mon prêt habitat. Dans mon offre de prêt il est bien mentionné qu'en cas de licenciement (cessation forcée) je ne doit aucunes indemnités. Or mon conseiller me les as retenus en pretextant qu'en agence cela été obligatoire par contre le siège allait me rembourser ses indemnités (4000€),
es-ce légal ?
vas t'on vite me rembourser ?
(mon conseiller en agence m'a dit avoir envoyé tout le dossier au siège à paris et que ce serait fait courant de semaine prochaine…)