Rappel d'un employé si besoin, pendant congés payés

Bonjour,
Depuis plus d'un an rien ne va plus. Chômage partiel, mon patron me demande une disponibilité totale au cas ou, ce n'est pas facile mais optimiste j'y crois et je fais des efforts dans l'intéret de l'entreprise.
il m'annonce au retour de vacances, retour au chômage partiel... puis fin de semaine, plus de chômage partiel sur conseil de son cabinet. Nouvelle info début de semaine suivante, il faut que je solde mes vacances. Sur ce, comme d'habitude je dis ok pas de problème (il faut être souple en ces temps...). Je pars comme prévu pour mes dix jours de congés payés et surprise, il me dit "je t'appelle si j'ai besoin de toi..."
A-t-il le droit de faire ça? si non, sur quel textes puis-je m'appuyer pour me défendre.
Merci beaucoup.