Sous seing privé pour achat terrain

J'ai signé une promesse d'achat pour un terrain sous seing privé chez un notaire. Dans le document figure une clause suspensive lié à l'obtention d'un prêt bancaire pour l'achat du terrain.
la banque m'a refusé le prêt pour cause de dépassement du taux d'endettement. J'ai donc transmis au notaire le refus de de prêt emis par la banque pour récupérer le chèque remis le jour de signature de la promesse d'achat.
le notaire m'a dit qu'il devait avoir l'accord du vendeur pour me restituer le chèque. Or le vendeur ne veut pas donner son accord pour me restituer le chèque car il pense que j'ai magouillé avec la banque pour ne pas obtenir le prêt. Il m'a dit qu'il avait confié le dossier à son avocat et que j'allais recevoir un courrier de son avocat ceci date de fin Août 2007 et à ce jour je n'ai reçu aucun courrier de ce fameux avocat dont le vendeur n'a pas voulu me dire le nom. Le notaire dit qu'il ne peut rien faire que c'est à moi de me débrouiller avec le vendeur.
Que puis je faire ? n' y a t'il pas un délai pour que le vendeur intente une action en justice et au delà duquel je suis en droit récupérer mon argent ?