Est ce légal de demander des "impayés" sans augmentation de loyer

Bonjour,

Je suis locataire d'un logement depuis juillet 2006. Par contrat le loyer fixé était de 1050 €, mon propriétaire m'a fait signer un contrat de location dans une agence mais a toujours géré lui-même (par choix) les demandes de loyer (toujours 1050€ jusqu'à ce mois ci). Il ne m'envoyait d'ailleurs pas régulièrement les quittances... J'étais obligé de les réclamer.

Le mois dernier, il m'informe qu'il souhaite passer par une agence. Je lui ai proposé plusieurs fois de déjeuner ensemble pour en discuter. Il n'a pas saisi cette occasion.

J'ai reçu ce week-end un long courrier de l'agence recalculant mon loyer à 1120€ (je fais grace des centimes). Ce courrier me réclame également des compléments de loyers et de charges pour 2006, 2007, 2008, et 2009. Je comprends tout à fait l'augmentation de loyer mais est il en droit de me réclamer les compléments dont le total s'élève à plus de 1064€ ?
En première négociation, mon propriétaire divise la dette de loyer par deux : elle descend à 440€ environ, et j'ai obtenu un délai de paiement que je compte mettre à profit pour contester tout çà si j'en ai le droit évidemment.

Quels moyens de contestation/négociation ai je ?

Quels sont mes droits ?

Merci de votre aide,