Demande d'aide concernant une demande de garde

Bonjour,
voilà, mon amie et moi sommes en couple depuis plus de 5 ans et au début de notre relation nous avons eu une, deux violentes disputes. Mon amie n'a jamais porté plainte mais s'est confiée à son ex (le père de sa fille) et est allée passer quelques jours chez lui suite à nos disputes. Cela remonte à 3 ans maintenant et depuis tout va bien. Aujourd'hui le père de la petite à l'intention de demander la garde totale en se servant du fait que pour lui je suis une personne violente et que j'aurais eu un acte violent envers sa fille. Je précise qu'il n'a aucune preuve puisque je n'ai jamais eu cet acte. la seule possibilité qu'il a ce sont les 2 altercations que mon amie et moi meme avons eû il y à 3 ans et dont il a connaissance. Comment cela peut il se passer auprés du JAF si sa demande est prise en compte? La petite est avec nous une semaine sur deux et se porte trés bien avec nous. Merci pour votre réponse