Abus de pouvoir du propriétaire ?

Bonjour,
Petit problème avec notre propriétaire qui nous expulse.
Il y a 3 ans, nous avons signé un bail mon compagnon et moi-même. Sur le terrain, il y a des arbres fruitiers. Le propriétaire nous a demandé verbalement si nous étions d'accord pour qu'il continue à récupérer les fruits, et nous avons dit oui. Nous ne pensions pas qu'il viendrait sans nous le demander.
Il est donc régulièrement venu, à l'improviste, et même lorsque nous n'étions pas là. Il a donc pu constater que nous ne mettions pas en ordre le jardin et autre. Si nous avions su qu'il venait, nous aurions "rangé".
Par ailleurs, à mon insu, mon compagnon a mis en pot une plante illicite.
Il y a une semaine, j'ai reçu un courrier recommandé à mon nom seul (et non à celui de mon compagnon), me demandant de quitter les lieux, me disant que je suis une malpropre et une irresponsable ...
Je me vois donc dans l'obligation de partir, et je ne pourrai pas récupérer la caution.
Le propriétaire a découvert quelque chose d'illégal sur son terrain, mais avait-il le droit de pénétrer sans notre autorisation ?...
Il ne m'a incriminé que moi, alors que c'était mon compagnon qui était coupable ...
Ai je un quelconque droit ? Puis-je me retourner contre le propriétaire ?
Merci d'avance pour votre aide, la situation étant difficile actuellement ....

Le bailleur n'a aucun droit de vous demander de partir dans ces conditions. Vous n'avez pas à tenir compte de sa lettre, que vous devez conserver avec précaution (pour qu'il ne prétende pas avoir envoyé un congé dans les formes légales).

Quant à la chose illicite, vous vous en débarrassez, il n'y a aucune preuve, la parole de votre bailleur n'est pas une preuve.

Ne vous laissez pas intimider. Commencez par renvoyer une LRAR de mise en demeure rappelant que la maison loué et son jardin est votre domicile. Qu'il n'a aucun droit d'entrer chez vous (insistez sur le chez vous). Si dans sa lettre, il a mis noir sur blanc qu'il est entré, mettez le en demeure de ne plus pénétrer chez vous sans y être invité, qu'à défaut, vous porterez plainte. Rappelez aussi que l'injure et la diffamation sont des infractions pénales et que s'il recommence à vous insulter comme il vient de le faire dans sa lettre, vous vous verrez contrainte de déposer plainte contre lui.

Merci beaucoup pour votre réponse ...