Batiments de france et urbanisme

Bonjour,
Ma déclaration de travaux à transitée par les bâtiments de France car selon la mairie j'étais dans le périmètre ABF. Après enquête de ma part et confirmation des services de l'urbanisme, je suis hors périmètre....va comprendre bref!!
Ils m'imposent donc tout un tas modification bien chères alors que mes voisins directs (maisons mitoyennes de la même époque) ont fait ce qu'ils voulaient...
Donc je dépose réclamation et là l'urbanisme me répond que le maire peut demander l'avis des ABF et ainsi m'obliger à faire lesdites modif même si je suis en dehors du périmètre en prétextant que je suis à proximité d'une aire de mise en valeur du patrimoine (tout ça en braillant bien entendu!!!)
Qu'en pensez vous?