Recours en annulation permis de construire

Bonjour, J'ai obtenu un permis de construire en juillet 2007 pour une ancienne bergerie que je souhaite aménager en résidence principale, malheureusement un habitant du hameau a déposé un recours en annulation auprès du tribunal administratif de Nimes dans les deux mois qui suivent l'aafichage en mairie. Je dois avoir fini de rénover cette bergerie pour septembre 2008, inscription des enfants à l'école, mais on me dit que les tribunaux mettent de 7 mois à 2 ans pour juger une telle requête. Que dois je faire légalement pour me sortir de cette situation, je ne peux pas attendre, dois je prendre le risque de construire et m'attendre à être obligé de démolir ensuite par une simple décision de justice ? Je suis dans l'impasse, merci de bien vouloir me faire des suggestions.