Servitude de passage sur propriété privée

Bonjour,

Nous venons d'acquérir une propriété. Lors de la signature de l'acte authentique, nous sommes allés sur place avec donc l'ancien propriétaire qui nous a mis en garde sur l'assiette de servitude utilisé par son ancien voisin mais a été encore plus surpris de trouver un mur (2m de haut) et un portail qui n'existaient pas lors de son départ(terrain inconstructible).Depuis par notre notaire, nous avons notre acte de propriété ainsi que celui de notre voisin. Il s'avère que notre voisin a bien un droit de passage au plus court sur une de nos parcelles;Nous ne contestons pas du tout celle-ci. Par contre, il utilise cette parcelle mais remonte sur notre terrain de 50m pour se rendre chez lui par son portail qui est donc ouvert chez nous, cette fois-ci. Et emprunte, à son gré, une autre parcelle où il n'a pas du tout de droit de passage, nous, nous avons une servitude de passage exclusivement réservée aux secours.
Verbalement, nous lui avons demandez de réintégrer son assiette de servitude puis par un simple courrier;
suite à une visite chez un conciliateur,qui a mis notre voisin devant son acte de propriété en lui disant qu'il n'était pas dans son droit, nous lui avons envoyé une lettre AR, puis une seconde où nous lui donnions jusqu'au 1 mars pour effectuer des travaux, le recommandé nous est revenu non-retiré. Nous allons faire transmettre, par voie d'huissier, un autre courrier, l'informant qu'à compter du 1 mai, nous allons clore notre terrain;
Que faire si ce voisin ne réagi pas ?
Merci d'avoir pris le temps de lire ce long courrier.