W 637 roku kalifUmar ibn al-Chattab zajął bez walki Jerozolimę. Według relacji, Umar wjechał do miasta skromnie, siedząc na ośle prowadzonym przez sługę. Ortodoksyjny chrześcijańskipatriarcha Jerozolimy Sophronius zawarł z nim traktat pokojowy (traktat Umara) i wręczył klucze do miasta. Na mocy zawartego porozumienia, Umar zapewnił ochronę i bezpieczeństwo kościołów oraz chrześcijan, natomiast z miasta wypędzono wszystkich Żydów. Żydzi mieli zakaz sprawowania urzędów, sądzenia muzułmanów, jeżdżenia konno, budowania nowych synagog oraz odnawiania starych. Dodatkowo Żydzi musieli nosić odrębny strój, odróżniający ich od reszty ludności.
Żydzi cieszyli się w tym okresie względnie dużą wolnością wśród Arabów. Żydzi bardzo szybko przyswoili sobie język arabski i częściowo asymilowali się z lokalną ludnością.
W 956 roku władzę w kalifacie złożono w ręce wezyrów, kalifom pozostawiono jedynie najwyższe dostojeństwo religijne. W tym okresie książęta dzielnicowi uzyskali niezależność w swych prowincjach.
Przez krótki okres społeczność żydowska w Palestynie przeżyła swoje małe odrodzenie. W Jerozolimie powstała uczelnia religijna jesziwa. Jednak już w 1008 roku kalif nakazał, aby wszyscy Żydzi nie wyznający islamu szyickiego, nosili na szyi wizerunek cielęcia, na pamiątkę złotego cielca ich przodków na pustyni. Karą za nieposłuszeństwo było wygnanie.