Délai dépassé compromis de vente immobilier

Bonjour,
Nous avons signé un compromis de vente pour une résidence secondaire avec une date d'échéance bien précise. Nous sommes les acheteurs.
Nous avons obtenu de notre banque l'accord de prêt et les offres ont été éditées. Nous avons encore quelques jours pour renvoyer notre avis d'acceptation du prêt. Nous sommes donc OK de notre côté.
Seulement, l'office notarial nous informe il y a quelques jours qu'un élément va retarder le dossier (usufruit sur certaines parcelles destinées à la vente) et qu'a priori, le vente ne pourra se faire dans les délais impartis.
Le problème est le suivant: nous n'allons pas renvoyer notre accord à la banque pour l'offre de prêt (dans la mesure où nous ne sommes pas certains que la vente puisse se faire) et ceci pour éviter les frais de dossier et de caution. Or, si l'histoire d'usufruit est réglée à temps, c'est à notre tour d'être hors délais!!
Ma question est la suivante: si le vendeur n'est pas prêt pour la date butoir du compromis (concernant l'usufruit), peut-on annuler la vente sans pénalité? (ni pour nous, ni pour le vendeur?). Et si jamais le vendeur est prêt in extremis et a pu régler son histoire d'usufruit, nous sommes hors délais car devons refaire notre dossier de prêt, aurons-nous des frais car nous devrions alors refaire un dossier????
Merci d'avance de votre réponse, nous ne savons plus vraiment que faire!!