Reprise de commission, est ce légal?

Bonjour,
Je me tourne vers vous car je ne trouve pas de réponse dans mon cas ; j'étais jusqu'à récemment apporteur d'affaire (en tant que profession libérale), et touchait des commissions dans le cadre de souscriptions de mutuelles pour un partenaire. Or ce partenaire en question me réclame aujourd'hui les sommes qu'il m'a versées en totalité car les clients ont résilié leurs contrats (ils ont trouvé un travail leur offrant une mutuelle). Il est vrai que l'une des clauses de notre partenariat stipule que je dois reverser mes commissions en cas de résiliation de contrat par le client dans les 3 ans de la souscription. A l'époque, je n'avais pas réalisé la durée de cet engagement que je touve abusif. Et cela signifierait que :
1/ J'ai travaillé pour rien (démarches, visites clients, essence...)
2/ J'ai cotisé et payé des impôts sur les sommes perçues, et en plus il faudrait que je les restitue
Je me demande donc si :
A/ Cela est il légal? Cette clause est-elle pas un peu abusive?
B/ Ai je des recours? Quelles procédures entamera ce partenaire?
C/ Avoir radié mon activité a t-il une influence?
En effet, après une année désastreuse, j'aurai un bilan négatif, et ne pourra pas faire faire à cette nouvelle dépense.
Merci à tous ceux qui pourront me conseiller.