Couple a trois et les enfants

Bonjour,
je suis divorcé depuis 2 ans, j'ai mes trois enfants en garde 1 we et 1 mercredi sur deux.
depuis cet été, j'ai rencontré un couple avec qui je m'entend tres bien.
nous envisageons de vivre à trois.
mes enfants s'entendent tres bien avec mon amie et son mari (eux adorent mes enfants) mais ne savent pas qu'ils sont mariés. ils savent que son épouse est ma nouvelle amie, et que son mari un copain commun.
je voudrais savoir ce que dit la loie sur ce sujet.
et je voudrais savoir également si mon ex épouse peut me retirer la garde de mes enfants
merci de vos réponses