Droit d'occupation d'un logement familial par un tiers

Bonjour, ma maman étant décédée nous sommes avec mes frères et soeurs héritier d'une maison. Mon papa toujours vivant en a l'usufruit. Il s'avère que mon père est hospitalisé et souffre de troubles cognitifs. Mon frère a invité un cousin et sa famille a passer quelques jours dans la maison vide durant l'absence de mon père. Je ne suis pas d'accord que l'on rentre dans cette maison qui contient les affaires de famille. Aussi suis-je légalement en droit de refuser l'accès à cette personne? merci de me répondre

Bonjour,
Seul votre père, qui a l'usufruit de la maison, peut autoriser quelqu'un à y habiter.
Votre frère, nu-propriétaire en indivision, n'a pas ce pouvoir.

Merci de votre réponse toutefois mon père n'a plus toutes ses facultés mentales et nous avons demandé auprès du procureur une sauvegarde de justice. Ce cousin que nous n'avions pas vu depuis une vingtaine d'années revient trop souvent à mon gout. Que puis-je faire pour lui interdire l'accès à la maison en l'abscence de mon père hospitalisé. Merci