Aidez moi je ne sais plus quoi faire avec mon ancien propriétaire

Bonjour,
J'aimerai votre avis sur ma situation car je ne sais plus quoi faire.
L'année dernière mon concubin et moi vivions dans un appartement en tant que locataire.Notre propriétaire est notaire, mais l'agence de notaire qu'il dirige ne gère pas son appartement.
Le 15 juin 2010 nous lui avons adressé un préavis pour résilier notre contrat de location et comme nous étions pressés nous avons tout fait pour lui trouver un nouveau locataire afin de réduire notre préavis.Nous avons réussi et nos successeurs ont emménagé dès le 1er Aout 2010.
Cependant il nous n'avions toujours pas reçu notre dépôt de garantie d'un montant de 380 euros au mois de janvier 2011.
Nous avons donc adressé une lettre recommandée avec accusé de réception à son intention pour avoir des nouvelles de notre dépôt de garantie en lui mentionnant que le code civil prévoit des intérêts en cas de retard dans la restitution de ce dépôt.
Je viens de recevoir une réponse de sa part avec un modique chèque de 25euros 10 car, il explique qu'il a déduit ce que nous lui devions pour le mois de juillet (comme nous avions emménager le 10 juin 2009 et que nous avions payé le mois entier , il nous fait un pro rata du 10 au 31 juillet) c'est à dire 354.84euros(le loyer était de 500 TCC).
Sauf qu'il a tort nous avions payé le mois de juillet (j'en ai la preuve sur les relevé de compte de mon concubin), nous avons même payé un mois entier donc jusqu'au 10 aout 2010!
Je ne sais pas du tout comment lui faire entendre raison car en tout et pour tout j'ai vu seulement 1 fois mon propriétaire (lors de la conclusion du contrat de location).Nous n'avons jamais pu le revoir ensuite, il ne veut pas nous recevoir,et sa secrétaire ainsi que son assistante nous disent que cela ne concerne que lui car ce sont ces affaires personnels.Meme si on lui fait transmettre un message , nous n'avons jamais aucune réponse sauf si on lui envoi des lettres recommandée (mais ça commence à faire cher tout ca!)
Je ne sais plus quoi faire!

Vous allez au tribunal de proximité avec vos preuves (notamment le relevé de banque en ayant barré au marqueur toutes les lignes qui ne le concerne pas, montrant le paiement, le bail, l'AR du congé) et le compte EXACT et détaillé de ce qu'il doit. Vous faites la saisine simplifiée du TP

Est ce que ca va me couter quelque chose?(merci de votre réponse)

non, pas en saisine simplifiée.
Pensez bien à assigner le bailleur et pas l'agence