Separation : Obligation légale/morale des nouveaux conjoints

Bonjour,

Contexte :

la mère de mon fils m'a quittée il y a deux ans déjà
Nous n'avons aucun bien en commun.
Nous avons des dettes communes que j'ai commencé seul à régler, la mère de mon fils se déclarant insolvable sans en avoir fait la démarche.
Elle vit avec un autre homme et à eu un enfant. Ils touchent le RSA.
Mon fils est partit vivre chez elle depuis la rentrée 2015. Jusque là il vivait chez moi à temps complet depuis plus d'un an, et avec ma nouvelle compagne.


Ma problématique :

la mère de mon fils, légalement encore mon épouse le divorce n'étant pas été
prononcé, souhaite rencontrer de nouveau ma compagne après une première rencontre tendue qui a eu des conséquence désagréable : je ne devais plus voir ma compagne et mon fils en même temps car ma compagne avait été jugé nuisible.

Suis-je obligé d'accepter ?

Ma compagne ne souhaite pas rencontrer la mère de mon fils.
Je ne souhaite pas l'obliger.
"L'entente" semble pour l'instant impossible.
Mon fils ne manifeste aucun besoin ou manque réel à ce sujet.

Si je refuse, je redoute qu'alors la mère de mon fils s'oppose à la venu de mon fils chez moi.

Merci de votre aide