Terrain : élément caché par notaire au compromis

Bonjour à tous. Nous avons réservé un terrain à bâtir (à un particulier, c'est un terrain hors lotissement) et avons signé le compromis de vente. Nous n'avons pas traité avec une agence mais directement avec le notaire, qui a donc assuré et la négociation et le compromis. Quelques jours après cette signature, la mairie du village concerné nous apprend que seule une partie du terrain est en zone constructible(une moitié). A aucun moment cet élément ne nous a été évoqué : ni par l'assistante du notaire qui nous a fait visité le terrain, ni par le propriétaire que nous avons rencontré par ailleurs, ni par le notaire qui a lu le compromis au moment de la signature. Nous sommes choqués car c'est pourtant bien le rôle du notaire de nous alerter sur les éléments essentiels. Après maintes relectures du compromis, cet élément apparait bien dans les annexes, où il est indiqué la surface en zone U. Nous souhaitons cependant conserver le terrain. Mais avons-nous le moindre recours sur lequel nous pouvons compter (indemnisation ou revision du prix du terrain par exemple)? Car c'est une chose importante qui nous a été cachée. Et le notaire a admis qu'il le savait, il en a eu connaissance quand il a réalisé la première vente de ce terrain il y a quelques années.
Je vous remercie beaucoup par avance des solutions que vous pourrez nous proposées. Bien cordialement, ASPVHF