Problème avec mur de soutènement/ commune

Bonjour,
Je suis proprétaire depuis 6 mois et sur le bord de notre propriété, nous avons fait construire un mur de soutènement de 1m40 environ. Ce mur permet de retenir la terre de mon jardin et est compris dans la limite de notre propriété.
Pour information, en contrebas du mur il y a un chemin piéton public et grâce à ce mur, la terre ne tombe plus dessus et celui-ci est derrière la maison et non coté rue.
Après recherche, ce mur n'est pas soumis à autorisation de construire en raison de sa hauteur inférieure à 2mètres or nous avons reçu un courrier de la commune (Service urbanisme) nous informant de notre construction sans autorisation.
Après les avoir contactés, ils nous ont renvoyés vers la présidente de l'association du lotissement qui est en train d'établir une charte réglementaire du lotissement mais qui à ce jour n'existe pas encore. Aprés une première entrevue, le problème viendrait que le mur n'est pas lisse (en pierre ocre, de la même couleur que la maison).
Est-elle en droit d'exiger une destruction alors que le promoteur du lotissement nous avait dit qu'il n'y avait aucun problème à construire ce mur?
Existe-il des lois ou articles sur lesquels m'appuyer pour arrêter la bêtise humaine?

Merci de vos réponses

Vincent