Mon proprio veut nous expulser sans raison apparente

lors de la signature du bail en juillet 2007, il était convenu de louer un appart de 110m2, un garage et un "coin jardin suivant besoin".
nous avons donc entretenu la pelouse et aménagé un potager et quelques massifs floraux.
un après midi lorsque mon conjoint passait la tondeuse, le proprio débarque avec la sienne. mécontent que nous passions la tondeuse celui-ci commence à nous agresser verbalement: "ici c'est chez moi, vous n'avez pas à tondre, ni fleurir"...etc.
suite à cela, je lui fais remarquer que l'accès au jardin(par le garage) était rester casi inaccéssible pendant près d'1 mois, une fourche de tracteur génait le passage(il restait environ 20cm pour passer). j'ai 2 enfants en bas ages (1 et 3 ans) et je garde un petit bout de 2 ans. Monsieur m'a repondu que ce n'était pas dangereux[/s], qu' il suffisait de faire attention!!!.
et de fil en aiguille, il en ai arriver à nous dire qu'il ne voulait plus nous voir cher lui que l'on devait quitter les lieux.

que pouvons nous faire?
merci

c'est grave d'arriver à des situations pareiles, alors que tous se passaient bien avec les autres locataires(7 dans notre batiment)