Rupture de location pour une chambre meublée à domicile

Nous hébergeons une personne chez nous ( chambre meublée) depuis 2 mois.
Cette personne ne respecte pas les règles de vie de la maison et nous met parfois en danger ( il part en laissant la maison ouverte...)
Nous lui avons signifié il y a 3 semaines qu'on ne renouvelerait pas sa location pour le mois de mai.
a ce jour il refuse de partir avant le 10 mai, nous parlant d'un préavis d'un mois légal.
Nous n'avons établi aucun bail avec lui comme la loi, pour une location meublée à notre domicile, nous le permet.

sommes nous en droit d'exiger son départ immédiat ?
peut-il porter plainte contre nous ?