Travaux stoppés=jardin inutilisable depuis 1 mois

Bonjour,
Nous avons emménagé dans un appartement en septembre 2010. Notre choix s'est porté sur ce logement car il dispose d'un grand jardin privatif à l'arrière du bâtiment.
Je précise que nous sommes passés par une agence immobilière locale sensée assurer le suivi des dossiers locatifs.
Début octobre, le propriétaire décide de faire les travaux d'assainissement, nous en avons été informés par "bouche à oreille" quelques semaines auparavant. Après un appel à l'agence immobilière, nous obtenons de mauvais grâce un courrier nous avertissant de la date de début des travaux (le lendemain) et la durée: deux semaines, sous réserve d'intempéries.
Le propriétaire a retiré les clôtures, nettoyé les parcelles et creusé une tranchée sous nos fenêtres.
Au jour d'aujourd'hui (début novembre), les travaux sont stoppés, les jardins inutilisables, non clôturés, le site dangereux, les gens du village promènent leurs animaux dedans car ils ne voient aucun balisage.
L'agence n'est a priori au courant de rien et c'est à nous locataires de lui demander de se renseigner auprès du propriétaire pour voir ce qu'il en est, et nous n'avons aucun retour . La personne qui gère le dossier nous avance que nous faisons preuve de mauvaise foi car l'hiver arrive et que les jardins ne sont pas utiles durant cette période.
Le problème c'est que le jardin apparait sur le bail, et que le montant du loyer est calculé par rapport à la présence de cette parcelle.
Dans un premier temps, nous voudrions simplement savoir quand les travaux seront terminés.
Si l'agence continue de refuser de faire son travail, nous souhaiterions obtenir une réduction de notre loyer, car nous ne pouvons pas jouir de notre jardin, hiver ou pas, les travaux n'étant pas terminés à la date avancée par le courrier. Pour les intempéries, nous avons eu 3 semaines de temps plus que correct.
Avons nous des recours possibles, ou de quoi faire pression? Nous en avons assez d'être pris à la légère, nous sommes des locataires corrects et respectueux de notre bail.
Quel est l'organisme compétent en matière de litiges entre propriétaires et locataires?
Merci par avance de vos avis.