Hébergement à titre gratuit. droits?

Bonjour,

Mon père est locataire d'un appartement 3 pièces depuis le 10/2008.
Il vit avec une femme avec lequel il habite et me loge à titre gratuit (étant au chômage jusqu'à maintenant) depuis 1 an. Le propriétaire, à l'époque, n'y a pas vu d'inconvénients et était d'accord.

Mon père et sa copine sont sourds, je suis donc leur représentant auprès du propriétaire pour ainsi dire. Depuis plusieurs mois il fait la sourde d'oreille à mes demandes de réparations de volets et de réhabilitation de la cave.
Depuis 2semaines, j'héberge ma petite amie avec moi. Celle-ci va en effet s'installer dans ma ville et en attendant de trouver un logement pour nous 2, nous vivons tout les deux à titre gratuit chez mon père. C'est donc une situation temporaire.

Le propriétaire menace d'envoyer un huissier nous mettre dehors moi et ma copine. Il m'insulte et est devenu irrespectueux envers moi alors que je ne lui ai jamais rien fait. Il donne des ordres, se permet de passer chez mon père visiter n'importe quand, pose des questions indiscrètes bref il se croit tout permis.

Que puis-je faire? A-t-il le droit de nous mettre dehors? Aurais-je un recours si je porte plainte pour harcèlement moral?

Merci de votre compréhension.
Dans l'attente de votre conseil,
Sincèrement,
S.P.