Attente de la confirmation d'annulation de vente

Depuis le 24/08/07 nous avions signé un sous seing privé pour vendre l'habitation principale à cause de divorce
Nous devions procéder à la vente vers mi novembre mais les acquéreurs se désistent après avoir eu connaissance d'un litige avec notre voisin.
Malgré un courrier auprès de l'agence, et du notaire, nous n'avons pas reçu de confirmation du desistement.
Or les éventuels acquéreurs avaient versé des arrhes.
Le notaire attend juste un écrit de mon ex conjoint qui confirme le rejet des arrhes pour rendre caduque cette vente.
L'agence doit nous tenir informé c'est son rôle mais jusqu'à ce jour seulement des communications téléphoniques même avec le notaire.
Peut on se retourner contre l'agence?