Portail sur servitude de passage

Bonjour,
Nous sommes propriétaire d'un terrain en seconde position, ainsi que du passage qui mène à ce terrain.
Lors de la vente, une servitude de passage à été créer entre le vendeur et nous, car l'entrée que nous avons acheté servait d'entrée à la maison placé sur le terrain en première position. la maison n'étant pas vendue, les vendeurs ne souhaitant pas que le portail disparaisse pour que n'importe qui pénètre chez eux. et ne souhaitant pas non plus créer un portail avec accès direct à la rue (le terrain de la maison n'étant pas enclavé)
une phrase de la servitude dit:

il ne pourra être obstrué, ni fermé par un portail d'accès, sauf dans ce dernier cas accord entre les parties.

Les vendeurs et nous même étions d'accord, d'ailleur dans le texte de la servitude il est précisé que la servitude de passage cesserai le jour ou le nouveau proprietaire créera un accés direct à la rue.
Aujourd'hui la maison est vendue et les nouveaux propriétaires veulent nous faire enlever ce portail, prétextant :

"nous ne ferons pas d'accés direct sur la rue ce qui amputerait une partie de notre jardin et occasionnerait des travaux titanesques et coûteux. Le droit de passage a été l'un des facteurs décisifs concernant l'achat de la maison, sans lequel nous ne l'aurions pas achetée. "

Par contre ils veulent créer un portail et un portillon sur notre limite séparative le long de l'assiette de servitude ?
si j'enlève mon portail, mon terrain ne sera plus clos et n'importe qui pourra renter chez moi.

Une petite précision, ce litige arrive car il ne respecte pas la servitude, étant dans l'impossibilité de stationner chez eux, rampe de garage difficile d'accès ils stationnent ainsi que leurs locataires sur l'assiette de servitude nous empêchant de rentrer et d'accéder à notre propriété, après plusieurs remarques verbales nous les avons notiufié par Lettre avec AR à respeceter ce droit de passage
Quels sont vos conseils