Viste medicale medecine du travail

Bonjour,

Je suis reconnu travailleur handicapé suite à un accident de travail sur chantier. Depuis, ne retrouvant pas de travail, je suis inscrit en agences d'intérim. A chaque proposition de poste, je passe une visite médicale qui me déclare apte au travail. Or, dernièrement j'ai dû refuser un travail proposé par une agence d'intérim car il était vraiment contraire à mon "handicap". Ladite agence m'a donc "obligé" à repasser une visite médicale.
Le jour où je me suis présenté, le médecin du travail partait à la retraite le soir-même et, de surcroit, leurs services ayant été cambriolés, le médecin ne pouvait pas remettre la main sur mon dossier médical, elle a donc établi un papier disant : "Aptitude non définie". Mon conseiller à pole emploi me dit que ce papier ne veut rien dire et que la procédure est illégale mais que ce la m'empêche de travailler que ce soit en intérim ou autre. Que dois-je faire, je suis dans une situation vraiment navrante et préjudiciable pour moi. Sachant que mon handicap est peu élevé. Pourriez-vous me donner des éléments de réponse ? Je me tiens à votre disposition si vous souhaitez plus de précisions.
Je vous en remercie par avance, dans l'attente de vous lire bientôt Merci