Vice caché pour une charpente suite à achat

Bonjour,

Nous avons acheté, ma femme et moi, une maison au mois de juillet et après avoir fait passer des professionnels pour la rénovation, nous nous sommes aperçus que la charpente d'une de nos grange s'est déterriorée.
Petit flashback : Nous cherchions à nous installer dans la région (nous sommes à l'origine du Nord) et avons donc cherché une maison sans trop de travaux (surtout toiture saine et murs exterieurs corrects), l'agent immobilier nous a présenté cette longère qui pour lui correspondait à nos critères. La longère est composée de 2 granges et d'une partie d'habitation, le tout attenant et d'un seul "corps". La toiture de la première grange nous intrigant nous avons posé la question : "Etes vous sur que la toiture est bonne et qu'il n'y a rien à y faire?" La réponse a été unanime entre le propriétaire et l'agent : "Non ça tiendra encore quand nous serons plus là", la charpente n'étant pas accessible car la grange était remplie de fois nous leurs avont fait confiance.
Nous voilà donc partis pour acheter le bien. Le délai de rétractation passe et étant de passage dans le coin nous profitons pour aller voir notre futur logement. Finalement nous signons chez le notaire et commençons à faire les devis pour y habiter. Mais, le hic c'est que le 1er artisan qui est venu nous a fait remarqué l'état de la poutre, je lui ai donc répété ce que m'avait dit le propriétaire et il m'a répondu que de toute façon il ne viendrait pas travailler si on ne faisait pas passer un charpentier. Et c'est en faisant venir le charpentier que nous avons appris qu'il y avait un sérieux souci de charpente qui ne passera certainement pas l'hiver. Croisans le propriétaire, nous lui en parlont et il nous a gentiement répondu : " vous avez bien assez de place, vous avez qu'à la laisser s'effondrer!" Sympatique, surtout quand on sait qu'on voulait mettre en dessous nos chambres et la salle de bain!!!

Ma question : Avons-nous un recours légal envisageable car nous n'avons pas les moyens de faire réparer cette charpente et nous ne voudrions pas avoir de souci si elle s'effondre car elle est en bordure de route et engendrerait la chute du poteau téléphonique.

Je vous remercie d'avance pour votre réponse et m'excuse pour le long speech ;)

Benjamin