Chambre chez l'habitant : comportement abusif du propriétaire ?

Bonjour,
Etudiante sur Amiens, cela fait deux ans maintenant que je loue une chambre meublée chez l'habitant.
Je possède un bail qui semble en règle comportant quelques clauses de respect des locaux que je trouve normales.
Je ne peux pas recevoir de visites après 22h, pas le droit de fumer dans la chambre, etc...
J'ai toujours respecté toutes les clauses de ce bail.
Hier soir, je suis accidentellement tombé dans l'escalier, se soldant par une foulure douloureuse et par la réouverture d'une cassure dans la rambarde de l'escalier en question (un précédent étudiant avait déjà fait une chute un an plus tôt). Mon propriétaire est arrivé fou de rage en me rendant responsable de cet accident en m'insultant ouvertement devant un ami présent et en proférant des menaces comme : "Fais gaffe à toi", "Tu vas voir"...
Il s'est mis à me reprocher la présence de cet ami alors que le contrat stipule bien que les visites sont autorisées jusqu'à 22h. Il était 20h30.
Depuis deux ans, le propriétaire a un comportement irrespectueux envers moi. Il me parle avec un ton infantilisant, épie le moindre de mes mouvements et me reproche de ne pas assez parler. Il rentre dans ma chambre comme bon lui semble et l'a même fait visiter sans m'avertir alors que j'étais présente dans ma chambre à ce moment-là. Je n'ai purement et simplement aucune intimité ! Il m'a même fait cette remarque : "Tu sais ta vie privée tu la laisses chez toi, ici tu n'en as pas."

J'ai donc plusieurs questions :
A-t-il le droit de s'immiscer dans ma vie comme ça sous prétexte qu'il me loue une de ses chambres ?
Peut-il refuser de me rendre ma caution pour un dégât occasionné lors d'un précédent accident ?

J'en viens à ne plus sortir de ma chambre pour ne pas croiser mon propriétaire. Je vis cela comme du harcèlement.

Merci d'avance pour vos réponses.
Cordialement,
Mel