Искаженное арабское харам — «запретное». Женская половина в доме мусульманина, обычно располагалась на верхнем этаже.
В переносном значении «гарем» — жены и невольницы хозяина дома.
Источник: Ислам классический. Энциклопедия.