Restitution de dépot de garantie

Bonjour,
Debut Aout nous avons rendu les clés de notre colocation en aillant effectué un etat des lieux où rien de bien grave n'apparaissait. Une 15 de jours plus tard notre ancien proprietaire nous à contacter en nous disant que son peintre avait reperer un enfoncement dans le mur certainement causé par un acte violent (coup de pied?). Nous n'avons jamais remarqué ce trout et il n'a pas été constaté dans l'etat des lieux ni de sortie ni d'entrée d'ailleur. Le proprietaire nous demandait de prendre a notre chargé les reparation (500 euros) ce qui dans un premier temps nous avons refusé puisque nous n'etions pas responsable. Cependant il nous a dit que nous lui avions payé 11 mois de loyer en retard et passer le 10 du mois nous aurions du ajouter 80 euros a chaque loyer en retard ( c'etait stipuler dans le bail). La plupart de ces retards de paiement sont du aux delais entre les banques pour le virements. Nous lui devions donc 880E. NOus avons choisi d'accepter le cout de la reparation du mur (sans en etre considerer comme responsable). Mais nous sommes mi-oct et toujours pas de caution, le proprietaire pretextant un nouveau devis de la part du peintre...Bref que pouvons nous faire sans risquer qu'il nous reclame ces fameux 880 euros de loyer verser en retard?

Merci de votre reponse