Vefa: annulation achat sans dépôt de garantie

Bonjour,
J'ai signé un contrat de réservation en janvier 2011 pour un appartement en VEFA. Nous n'avons versé aucun dépôt de garantie (article prévu au contrat mais fixé à zéro). Nous avons reçu le contrat de vente et nous sommes dans le délai d'un mois pour en prendre connaissance. Nous ne souhaitons plus réaliser l'achat. Notre intermédiaire nous dit que le constructeur peut se retourner contre nous.
Est-ce qu'il y a risque réel?
Quelle modalité pour annuler le contrat?
Merci pour votre aide.

voici les mentions qui me semblent traiter du sujet dans mon contrat de réservation:

"En contrepartie de la réservation qui lui est consentie, le réservataire a versé à un compte ouvert à l'étude X la somme de 0 euros correspondant à cinq pour cent (5%) du prix de vente, à titre de dépôt de garantie, indisponible, incessible et insaisissable, faute de quoi la présente réservation sera sans effet." Je n'ai donc rien versé ni établi aucun chèque.

"Au cas où, la vente lui ayant été offerte, le réservataire renoncerait à acquérir pour une cause autre que celle visées au 2° du présent article alors que l'ensemble des conditions suspensives auraient été réalisées (c'est le cas!), le montant du dépôt de garantie sera acquis au réservant auquel il sera versé par le dépositaire sur justification par le réservant...."

Peuvent-ils me réclamer des sommes que je n'ai pas versées?