IOK har sedan tidigare fastställt att det inte kommer att finnas några regler som säger att de tävlande inte får bära hijab.
Males trots det har det franska OS-laget bestämt att det är förbjudet.
Nu väcks kritik mot beslutet från människorättsorganisationen Amnesty, som kallar förbudet för rasistiskt.
”Förbudet bryter mot OS-värdskapets människorättsstrategi som belyser inkludering, och inte minst bryter det mot flera internationella människorättskonventioner”, skriver Amnesty i ett pressmeddelande.
Amnesty uppmanar också Internationella olympiska kommittén, IOK, att försöka få förbudet hävt genom att kontakta den franska idrottsmyndigheten.
Beslutet kom under förra hösten, när landets idrottsminister Amélie Oudéa-Castéra, meddelade om förbudet för allmänheten. Sedan dess har en stor debatt om landets religionsfrihet och integration uppstått.
Amnesty påpekar att förbudet är additional anmärkningsvärt, eftersom att sommarens OS blir det första med lika deltagande från kvinnor och män.
OS inleds den 26 juli.