Vente d'une maison avec pièce principale fantome

Bonjour,
il y a un peu plus de 5 ans j'ai acheté une maison par agence immobilière. J'ai décidé de la revendre. A ce jour, un compromis de vente a été signé par une agence immobilière. Lors de la signature chez le notaire, j'ai appris que la pièce principale de la maison qui avait été rajoutée par l'ancien propriétaire ne figure pas sur le plan cadastral de la commune. De plus, depuis notre achat, j'ai déclaré aux impots la totalité de la maison qui comprends également cette pièce fantôme.
Lors de la vente nous avions stipulé au notaire que cette pièce était détaillée sur l'acte notarial mais qu'elle ne figurait pas sur le plan cadastral. Nous avions eu comme réponse que les plans n'étaient pas encore mis à jour.
Cependant à ce jour nous restons dans l'incapacité de signer l'acte notarial avec le futur acquéreur qui réclame la mise à jour d'un document écrit.
Ni le notaire, ni l'ancien propriétaire, ni l'agence immobilière, ni la commune, ni la DDE, c 'est à dire personne, ne peut nous dire comment régler ce litige.
Je ne sais plus comment faire alors que j'ai été honnête, j'ai suivi la démarche par des professionnels tels l'agence immobilière et le notaire.