Annulation permis par le voisin ?

J'ai acheté un terrain non borné car désaccord avec le voisin. Apparemment c'est le géomètre du voisin qui a raison car le notre reconnait l'erreur. Problème: ce nouveau bornage rétrécit notre parcelle qui deviendrait non constructible (minimum de surface pour permis). Le permis a été obtenu en 2007 et pas de recours dans les deux mois suivants. Le voisin nous assigne au tribunal:
1 pour bornage judiciaire
2 citation en référé au TGI pour arrêt des travaux pour des mesures conservatoires car on lui gêne sa vue
3 assignation pour permis illégal au tribunal administratif en raison de notre déclaration mensongère sur la surface et violation de règle d'urbanisme alors qu'on n'a pas menti, on a pris la surface donnée par le géomètre et référencée au cadastre.
A t-il le droit de nous attaquer pour déclaration mensongère alors que c'est faux et le permis n'est-il pas acquis ?
Nous sommes complètement affolés: va-t-on nous arrêter les travaux ou plus tard nous faire démolir la maison (nous en sommes aux sous-sol)?
Merci pour vos réponses.

Personne n'a de commentaire sur mon sujet. Mon cas est-il aussi désespéré ?