Remboursement caution, etat des lieux d'n logement

Bonjour,
Nous avons été locataires dans un appartement situé à Périgueux, pendant 4 ans. Lors de la prise en compte de ce logement nous avons établi un bail et un état des lieux avec le propriétaire.
Cet appartement n'était pas très propre et nous avons tapissé la salle de séjour, la salle de bain, la chambre de notre bébé.
Actuellement nous quittons ce logement pour intégrer notre maison, mais le bailleur refuse de nous restituer notre caution sous prétexte que la tapisserie de notre chambre (seule pièce que nous n'avions pas refaite), est passée, l'emplacement des meubles se voyant. Il n'y a aucune dégradation, le papier n'est pas déchiré, il n'y a pas de trou etc....
Celà fait partie de la vétusté et de l'usure du temps, mais j'aimerais avoir un texte ou quelque chose d'officiel à apporter à ce propriétaire pour le moins malhonnête.
Avec mes remerciements.