Revenus imposables à l'étranger

Bonjour,
Je suis fonctionnaire détaché auprès du ministère des affaires étrangères et j'exerce en Australie. J'ai signé un contrat australien et je suis payé par le gouvernement australien. Cependant, l'état français verse tous les ans de l'argent au gouvernement australien pour nous payer. Une convention entre la France et l'Australie nous permet de ne pas payer d'impôts pendant 2 ans.
L'ambassade de France nous demande de déclarer cet argent en France comme si nous y vivions et de payer des impôts sur le revenu car c'est la France qui nous paye indirectement. Elle veut rajouter une clause dans les contrats australiens pour nous obliger à déclarer cet argent.
D'un autre coté, nous devons payer de notre poche la CFE, la mutuelle et nos retraites françaises. De plus le niveau de vie n'est pas du tout le même qu'en France.
Je voudrais donc savoir si on peut m'obliger à payer des impôts en France alors que j'ai un contrat étranger et que je ne réside pas en France?

J'espère avoir été assez explicite et je vous remercie d'avance pour votre réponse.
Cordialement,
Nicolas G.