Possibilité de rétraction d'un bail, résilitation ?

Bonjour à tous les Experts juridiques qui pourront me venir en aide.

Nous venons signer un bail de location d'une maison mais la prise des lieux ne se fera que le mois prochain. Une fois le bail signé, le futur locataire a commencé à se montrer injurieux ne souhaitant pas respecter certaines clauses qu'ils venaient pourtant de signer (lui demander la permission pour avoir un accès aux parties communes, volonté d'aller se balader dans le champ du propriétaire sous prétexte que nul ne pourrait l'empecher puisqu'il s'agit d'une résidence secondaire, ,...).

Je sais qu'il n'existe pas de délais de rétractation une fois le bail signé, mais n'existe-t-il pas une jurisprudence dans le cadre où la remise des clés n'a pas eu lieu ? Quels autres recours pouvons nous avoir afin d'éviter tout problème avec un futur locataire qui a changé du tout au tout suite à la signature du bail et avec lequel nous n'avons plus du tout envie de nous engager ? Est-il d'ores et déjà trop tard ?

Merci pour votre aide qui nous sera forte utilie