Cadre en équipe et modulation

Bonjour,
Mon entreprise est soumise à la loi des 35 h et à la modulation sur une année. En tant que cadre occupé selon l'horaire collectif, mon contrat de travail indique que ma mission d'encadrement me conduit à être présent avant et après le début du travail et que donc ma durée hebdomadaire de travail est en moyenne de 40 h.(soit 5 h de plus que les ouvriers de mon équipe )
Ma question est la suivante : mon employeur a t-il le droit de me faire travailler une partie de ces 5 h en encadrant une équipe d'ouvriers (la récupération de la modulation se faisant à tour de rôle pour le personnel non cadre) ?
Un grand merci à qui pourra me renseigner