Menace d'abandon de poste a a cause de changements d'horaires

Bonjour, Voila je travail actuellement dans une moyenne entreprise de distribution alimentaire !!! J'y suis rentré en tant que hotesse de caisse mais depuis 3 ans il me mettes a tout les postes possible : boulangerie, épicerie, bazar... Nos horaires sont fournies le vendredi pour le lundi donc seulement 2 jours en avance !!! pour les vacances, ils ont décidés de me mettre au textile en remplacement de la chef de rayon !!! Cette semaine, je ne devais pas travailler samedi après midi et lundi on m'a averti que finalement je travaillais. J'ai donc voulu refuser car je ne pouvais pas venir donc je leur ai dis !!! Du coup j'ai été convoquer dans le bureau du directeur qui m'a dit qu'il ne voulait pas savoir pourquoi je ne pouvais pas venir et que si je ne viens pas, il m'enverras une lettre pour abandon de poste ! Trouvez vous ça normal et puis je refuser de venir autravail sachant que j'ai été avertit que lundi et que ce n'est pas pour le poste que j'occupe en ce moment mais pour aller a un autre poste ? Merci de vos réponses.