Comment expulser une personne que l'on héberge gratuitement?

Bonjour, Voici notre histoire, nous sommes locataire d'une maison avec deux appartements, dont l'un deux est occupé par le frère du propriétaire. Lors de la signature du bail, nous avions conclus avec ce monsieur, qu'il pourrait rester dans l'un des appartements gratuitement en échange de divers travaux dans le jardin et l'entretien de la piscine, ce monsieur ayant des problèmes financiers donc nous avions signé un avenant entre particuliers pour ne pas que l'on nous accusent de percevoir des loyers. Il faut savoir que depuis 4 ans nous supportons toutes ses charges (électricité, taxes d'ordures,...) les deux premières années il se chauffait avec un petit chauffage d'appoint au pétrole, mais voyant que ça lui coutait cher, il s'est fait installer des chauffages électriques sans nous le dire conclusion nous avons eu une facture faramineuse!!( 3300 pour l'année) il nous avait promis de nous aider, mais ne nous a donné que 150 euros, et il a fait installer un décompteur, dans son appart, qu'il remet à zéro et dont on n'a pas d'accès. Cette année à la vue de la facture, encore plus conséquente,(un peu - de 4000 euros) nous lui avons demandé de régler 1900 euros (compte tenu que l'an dernier il n'avait rien donné et qu'aucun service de jardinage et d'entretien ne nous a jamais été rendu!) Une grosse dispute en a suivi et nous désirons mettre fin à notre engagement avec ce monsieur, comment pouvons-nous nous y prendre sachant que ce monsieur est l'ancien propriétaire des lieux, qu'il y a eu construction non déclarées et lors d'une dispute (l'an dernier) sur le sujet il a eu peur et a été les déclarer et supporte la taxe immobilière sur les appartements incriminés. Nous sommes à bout, il est âgé de 75 ans, il est violent, il profite de notre gentillesse, il est sans respect envers nous, nos enfants, nos invités et nos animaux. Il est parti deux fois un mois en afrique et sa femme de ménage nous a averti qu'il avait mis ses radiateurs à fond. (en mai et en septembre) Nous voulons qu'il parte! Je pense que nous avons été suffisamment patients et ne supportons plus cette tension.
Merci de votre réponse, j'espère qu'il y a une solution.