Conflit avec propriétaire et menace de poursuites

Bonjour,

Il y a un peu plus de quatre ans, moi-même et ma compagne, alors que nous attendions notre enfant, étions dans une situation de grande précarité financière.
A la recherche d'un logement, nous avons accepté un arrangement avec un propriétaire qui était le suivant.
En échange de travaux dans le logement (qui dans l'état était insalubre, contenait de l'amiante et ne possédait aucune installation électrique ou sanitaire aux normes)
ce propriétaire a accepté de "céder" un an de loyer, en échange de quoi nous reversions toutes nos prestations CAF dans les frais matériels et je réalisais les travaux.
Il nous a présenté cet arrangement comme quelque chose de tout a fait légal qui se faisait couramment.
Très vite, il s'est mit a exercer une pression sur nous et nous à même menacé une fois d'expulsions car les travaux n'avançaient pas assez vite à son goût.

Au fur et a mesure de l'avancée des travaux, je constatais que toute l'installation électrique était à refaire car se révélait dangereuse pour nous même ou notre enfant, qu'une grande partie des revêtements de murs étaient constitués de plaques de fibro-ciment à l'amiante, que les fenêtres devaient être changées car elles moisissaient sur place.
J'ai refais moi-même l'installation électrique car c'était la seule facon d'en avoir une, le propriétaire nous ayant notifié qu'il n'avait que peu de moyens financiers.

A plusieurs reprises, j'ai signalé a ce propriétaire l'étendue des problèmes dont souffraient son logement, mais il n'a jamais voulu faire effectuer les moindres travaux. De plus, le logement a été inondé trois fois, a cause de problèmes d'égouts, et il n'a jamais entamé de démarches pour régler ce problème.

Pendant trois ans, nous avons vécu dans un logement quasi insalubre, sous une pression psychologique permanence, la peur de l'expulsion, etc etc

Récemment, lors de la remise des clefs a ce propriétaire, il m'a menacé d'engager des poursuites contre nous, je cite ;
-"Quand j'en aurai fini avec vous, vous me devrez des milliers d'euros, et vous ne toucherez plus jamais d'allocation logement de votre vie".

Aujourd'hui, je comprend que tout ce que voulait ce propriétaire, c'était faire refaire sa maison a moindres cout pour pouvoir la revendre et faire une plus value (il me l'a clairement avoué).

J'aimerais savoir quels sont mes droits dans toute cette affaire.

merci ...