Emplacement du portail sur chemin privé

Bonjour
J’ai acheté un terrain d’une division familiale (deux sœurs) en quatre parts égales (hors lotissement).
Sur le plan du géomètre il est mentionné que les deux terrains du fond non enclavés auront une servitude de passage réciproque sur le chemin de 2 x 4 mètres (chacun étant propriétaire de sa partie de chemin) et que nous ne pourrons mettre notre portail qu’au fond ce chemin.
Cette servitude est inscrite dans l’acte authentique d’achat
J’ai vu un éventuel acheteur qui lui aussi serait intéressé par la suppression de cette servitude afin que nous puissions ramener les portails sur l’avant du chemin et mettre un grillage au milieu afin de délimiter les chemins.
Le maire de la commune me dit que je dois demander l’avis des autres propriétaires pour pouvoir faire supprimer cette servitude et demander une modification du permis de construire alors que sur mon permis de construire il n’a jamais été fait mention de la position du portail.
Pouvez-vous me renseigner sur la marche a suivre car je suis surpris de devoir demander l’avis d’autre personne pour mettre un portail au début de mon chemin.
Merci d’avance