Mon employeur a rédigé un contrat qui ne lui convient plus

Bonjour ,
Agent de la fonction public territorial à mi temps sur un site , le service RH a rédigé il y a 6 mois et à la demande de la direction, un contrat de travail sur un autre site (pour completer mes heures) sur une durée déterminée.
La contrat signé jusqu au 1er janvier entre les 2 parties mentionne 52h/mois de travail .
Après plusieurs mois de rémunération sur cette base je suis retourné pour informer ce même service que les heures travaillées ne correspondaient pas aux heures réellement effectués et dont le planning m est communiqué par mon employeur (avec une différence 20h/mois environ non travaillées ) et avec un salaire, du fait ,en ma faveur .
La DRH accepte du bout des lèvres son erreur de contrat surévalué en heures ,( contrat établi à 52h au lieu de 20h/mensuelles ) mais ma direction me fait pression maintenant pour récupérer l argent des heures non travaillées.
L erreur ne provenant pas de moi , qu'elles sont mes droits?
Je reprécise que ce contrat a été signé entre les 2 parties.
Merci pour vos réponses.