Problème avec un droit de passage

Bonjour,
J'ai une question concernant un droit de passage, je vais vous expliquer brièvement mon problème.
J'ai acheté une maison il y a un an et demi avec un grand terrain grevé d'une servitude de passage.
Une personne possède un jardin au bout de mon terrain, ce vieux monsieur à donc un droit de passage depuis + de 30 ans sur mon terrain pour se rendre à son jardin.
L'entrée de mon terrain est fermée par un petit portail (déja présent lorsque nous avons acheté), mes enfants jouent régulièrement dans mon terrain, j'ai donc décidé pour leur sécurité de fermer ce portail avec un cadenas afin qu'ils n'aillent pas sur la route. J'ai bien évidemment donner une clé de ce cadenas à l'ayant droit, mais celui-ci me fait un "scandale" car il n'accepte pas que ce soit fermé à clé, j'ai essayé de lui expliquer que c'était pour des questions de sécurité mais il ne veut rien entendre.

- Suis-je en droit de fermer mon portail si je lui en donne la clé ?

Dans un avenir proche, j'aimerais mettre un plus grand portail afin de pouvoir rentrer mon véhicule sur mon terrain. Je donnerai une clé de ce nouveaux portail à l'ayant droit.

-Suis-je autoriser à pratiquer ces travaux ?

Il y a eut des travaux il y a 20 ans qui ont donné naissance à un chemin à l'arrière de son jardin, Le jardin de ce monsieur n'est donc plus enclavé, sachant que cette servitude est conventionnelle et inscrite aux hypothèques,

-Est-il possible de faire annuler cette servitude ?

Finalement je pose 3 questions, merci d'avance pour vos réponses.
Cordialement.