Attribution de la garde d'enfant

Bonjour,
Je vous expose brièvement ma situation: un divorce par consentement mutuel en 2006, une garde qui m' a été accordée d'un commun accord, puis un déménagement lointain pour moi et la volonté de mon fils de rester un peu avec son père...le tout d'un commun accord.
Aujourd'hui j'aimerais inverser la garde (le vois mon fils un we toutes les " semaines et à toutes les petites vacance scolaires) mais mon ex mari refuse en prétextant que grâce à ma profession (enseignante) j'ai plus de vacances que lui et donc qu'il ne verrais pas son fils autant qu'il m'est possible de l'avoir. Est-ce un argument recevable auprès d'un juge? dois-je faire les frais des avantages de ma profession?
Merci de me répondre.