Compromis de vente signé rétractation du proprio 3 mois après

Bonjour,
Il y a 3 ans, j'ai signé un compromis de vente pour un terrain à bâtir 100 000 euros pour 13 000m², le vendeur s'est rétracté 3 mois après la date de cette signature à l'agence immobilière.
J'ai déposé le dossier réclamant le maximum conseillé par mon avocat 100 000 euros.
Le tribunal a plaidé, 5000 euros de dommages et intérêts par le propriétaire, avec 3 ans de plaiedoirie et d'attente de conclusion de la partie adverse, et 5000euros de la part de l'agence immobilière, qui a de suite fait appel (injonction de conclure le 9 sept 08).
Mon avocat demande 3284 euros de frais d'honoraire, résultat environ 1800 euros pour avoir attendu 3 ans et 3 mois que le propriétaire et la tribunal se décident.
J'ai exprimé mon mécontentement à mon avocat, et le fait que je devais faire un crédit pour payer ses frais, il m'a répondu :"si vous avez des difficultés, je peux préléver l'argent sur le compte CARPA et de plus vu le manque de confiance je me retire de l'affaire"
Je ne savais même pas qu'il avait touché l'argent du propriétaire.
Que dois je faire? merci d'avance