Quand y a t il diffamation ?

Bonjour,

Un de nos voisins habitant Paris ayant constaté une effraction sur sa propriété, a refusé de la faire constater par la Gendarmerie mais est venu nous réclamer les clés qu' il nous avait confié en nous affirmant qu' il allait redemander l' ensemble des jeux de clés qu' il avait confié , ce qu' il n' a pas fait.
En me reprenant mon trousseau et alors que je lui demandais pourquoi , il ne faisait pas intervenir la gendarmerie, il m' a dit qu' il allait régler le problème lui même et que si aprés avoir repris ses clefs, il constatait encore un délit , il porterait plainte.
Ainsi, il sous entend que nous qui sommes du Val de Marne et de condition plus modeste à ses yeux, nous serions les auteurs de ce délit, ce qui a beaucoup de mal a passer.
Sans témoin autre que ma mère qui est malheureusement sourde, existe t il une quelconque démarche que je pourrais effectuer car il me semble que ces propos sont de la diffamation et que je n' admets absolument pas que l' on puisse ainsi soupçonner les gens et leur dire.
Merci
Mlle Chevereau