Acheteur porté disparu suite à signature compromis de vente

Bonjour,
J'ai signé un compromis de vente le 4 décembre 2009. L'agence m'appelle fin
janvier pour me dire que l'acheteur a un souci et qu'il n'aura pas son prêt en temps et en heure. En effet, il aurait eu des soucis familiaux suite au drame de
Haïti et aurait arrêté toute démarche auprès des banques (il n'a consulté qu'une
banque à la signature du compromis puis plus rien). J'ai accordé un délai de 10
jours amenant la date d'obtention du prêt au 20/02/10, la date de la transaction
étant prévue le 15 mars. Nous sommes le 14/04/2010, après avoir prétexté des
ennuis avec sa banque puis des papiers à fournir manquants à propos de son divorce, l'acheteur a disparu de la circulation, il ne répond à aucun appel de l'agence ni du notaire. J'ai envoyé un courrier à l'agence en recommandé avec accusé de réception afin de demander à remettre mon bien en vente. L'agence l'a fait suivre à l'acheteur également en recommandé mais il n'est pas allé le chercher.
Aujourd'hui je reçois un appel du notaire qui me déclare que je ne peux pas disposer de mon bien et qu'il faut l'accord de l'acheteur pour rompre le compromis.
Ou sinon faire appel à un huissier à mes frais.
N'y a t'il vraiment aucune autre solution? Peut il s'en sortir aussi facilement?