Désengagement pass foncier

Bonjour,
Je viens de recevoir mon attestation d'octroi de Pass Foncier. La commission a eu lieu en Avril mais je ne l'ai reçu que ce mois ci. Le problème c'est que depuis debut juin c'est ma nouvelle déclaration d'impot qui est prise en compte pour le calcul du PTZ, ce qui me le diminue de 10000€.
J'aimerais donc pouvoir me desengager de mon projet car pour moi il devient ingérable, hors ma banque refuse de me refuser le pret car elle estime que mon taux d'endettement est satisfaisant.
Autre point, lors que j'ai signé le terrain et la maison, il y avait pour clause suspensive, l'obtention du pass foncier, que j'ai obtenu, certe avec des données révolues, mais obtenu.
Ma question est donc: est il possible de me désengager auprès du constructeur et promoteur? et si oui, comment?
Vous en remerciant par avance.