Problème avec agence suite à un séquestre

Bonjour et merci d'avance pour votre aide.

Nous avons acheté une maison l'année dernière et le veille de signet l'acte de vente nous avons appris que la maison était frappé d'alignement. Pour réaliser nos travaux, nous devions reculé le pignon de la maison donc détruire et reconstruire celui-ci. Nous avons fait faire un devis pour la mise en alignement de la maison (Pignon +clôture). Après négociation, l'ancien propriétaire et l'agence ont accepté de prendre la moitié du devis à leur charge et on fait mettre l'argent sous séquestre chez le notaire.

Suite à notre dossier de permis de construire, nous avons juste l'obligation de mettre le pignon à l'alignement ce que nous avons fait.
Nous avons fournis le facture au Notaire qui a fait la demande de levée de séquestre qui a été accepté par l'agence et l'ancien propriétaire.
Le notaire a fait le chèque directement a l'entrepreneur.

Samedi soit 3 semaines après acceptation, nous venons de recevoir un recommandé de l'agence cosignet de l'ancien propriétaire, nous demandant remboursement d'une partie du séquestre car nous n'avons pas réalisé la totalité des travaux du devis initial.

Quelle sont les possibilités qui s'offre à nous ?
Peuvent-ils demandés remboursement alors qu'ils ont donné leur accord pour le paiement ?

Merci pour vos réponse.

Quels travaux étaient prévu au devis, et quels travaux ont été réalisés ? Soyez précis.

Les travaux prévus était démolition et reconstruction du pignon, démolition et reconstruction pilier du portail et déplacement portail.
Seulement, le démolition et reconstruction du pignon, nous a été imposé par la mairie donc seul ces travaux ont été effectué.

Merci