Declaration de travaux refusée après le délai de 2 mois

Bonjour,
J'ai déposé une demande de déclaration de travaux le 02/04/07 pour installer des panneaux photovoltaiques sur ma toiture. Ma maison est à moins de 500 m d'une église classée monument historique. Le pan de toiture sur lequel je veux installer mes panneaux ne "voit pas" l'église mais il existe dans le village quelques endroits où l'on voit simultanément ma toiture et l'église.

Le 11/05/07, j'ai reçu de l'unité territoriale un courrier me disant que "la décision d'autorisation doit être notifiée avant le 02/06/07. Si à la date du 02/06/07, l'autorité compétente pour statuer sur votre demande ne vous a fait connaitre ni opposition, ni prescription, les travaux pourront être entrepris conformément au projet déposé."

Le 02/06, pas de courrier, je crie victoire !

Le 09/06/07, courrier de l'unité territoriale : "vous etes beneficiaire depuis le 02/06 d'une autorisation tacite puisque les delais d'instruction prévus par le code de l'urbanisme sont dépassés. Je dois aujourd'hui vous retirer cette autorisation pour les raisons suivantes :
* Votre projet etant situe en perimetre de monument historique et en covisibilité avec l'église, il a été soumis à l'avis de l'architecte des batiments de france.
* Celui-ci n'a pas donné son accord à la réalisation des travaux pour les raisons suivantes : le recouvrement de la totalité de la couverture par des panneaux solaires aurait un impact négatif aux abords du monument protégé.
Je vous demande dès à présent de ne pas commencer vos travaux."

Pouvez-vous me dire si cette personne a juridiquement le droit de me refuser cette déclaration de travaux, au-delà du délai de 2 mois ?
Merci d'avance