Annulation contrat de construction

Bonjour,

J'ai signé un contrat de construction + terrain avec un constructeur de maison individuelle, mais le permis de construire nous est revenu réfusé. A la base, le propriétaire avait déposé 2 CU pour 4 maisons et n'avait pas consulté le P O S . Donc la DDE, a refusé le permis car notre terrain n'était plus dans la zone constructible. De son côté, le constructeur nous avait fait par du changement et voulait avancé notre maison dans la zone constructible mais ça n'etait pas possible selon la mairie. Celui-ci avait déjà fait part de changement auprès du notaire sans nous le notifier, et surtout nous leur avions dit de ne rien faire sans notre accord. Pouvons nous annuler la construction? pouvons nous agir envers le constructeur? A savoir que notre crédit est déjà en cours, nous avons déjà payer des assurances + frais de dossier mais nous n'avons même plus de terrain. Merci d'avance pour vos réponses, en espérant avoir été le plus clair possible.
Cordialement
J.BOURDEAUX