Annulation compromis de vente

Bonjour,
J'ai signé un compromis de vente et versé un dêpot de garantie de 3000 euros expecifié dans le compromis. Maintenant, la vente ne peut pas se realiser parce que je n'ai eu le prêt mais j'avait un delai pour presenter le refus du prêt par la banque qui est déjà passé.
Le notaire dit que si la vente ne se fait pas je vais payer 6000 euros au vendeur parce que c'est le 10% de prix de vente, Je devrai donner une autre cheque de 3000euros. Même si je presente l'attestation de refus du prêt daté et signé dans la date limite, le notaire dit que le papier peut être "faut daté" et de toutes façons je surpassé la date convenu.
Est-ce legal ça? Peut le notaire me demmander le 10% si dans le compromis n'est pas especifié un pourcentage si non seulement un dêpot de garantie?
Que-est ce que je peut faire pour ne pas perdre l'argent?
Combien je doit payer?

Dans le compromis de vente dit:
Montant
A titre de dêpot de garantie, l'adqueruer verse la somme de 3000 euros.
Convention entre les partie:
Il est convenu ce qui suit entre les parties:
-Si la vente se réalise, cette somme viendra en compte sur le prix de la vente.
-Si une ou plusieurs des conditions suspensives ne se realisaient pas dans le dalais impartis, cette somme devra être restituée puremant à l'adqueruer. A charge pour ce sernier d'apporter la preuve que cette non realisation ne provient pas de son fait, de sa faute ou de sa negligence.
- Si toutes les conditiones suspensives sont realisées et si l'acte authentique ne peut pas être dressé par la faute, le fait ou la negligeance de l'adquereur dans le delai fixe, cette somme será adquise au vendeur au titre de dommages sans prejudice pour celui-ci de poursuivre la realisation de la vente par acte authentique, et eventuallement de tous dommages et intérèts supplementaires. L'adqueruer donne mandat irrévocable au notaire de verser ce dèpot de garantie au vendeur dans l'hypothèses ci-dessus énoncée.

Merci d'avance pour votre réponse.
Cordialement.