Droit de visite et de garde d'un grand-père

Bonjour,
Mon beau-père a depuis des années (+ de 20 ans) dénigré sa propre fille, lui disant sans cesse que c'est une bonne à rien, une ratée, etc...et n'a aucun contact avec notre famille depuis des années
Aujourd'hui nous sommes mariés et avons deux beaux enfants, sa fille est heureuse et ça le dérange car il n'a plus de pouvoir psychologique sur elle.
Lors d'une rencontre dans une fête familiale, il a menacé d'entamer une procédure judiciaire afin d'avoir un droit de garde sur mon ainé de 3 ans (seulement lui apparemment, le bébé de 9 mois ne l'interesse pas !!)
Comment pouvons-nous nous défendre si cela se présente, c'est juste pour gâcher notre bonheur, en vengeance parce que sa fille a osé lui dire devant tout le monde qu'il n'avait jamais été un bon père.
Merci de nous aider et merci d'avance pour vos réponses.