נולד לרב מנחם מאניש מרגליות, בן למשפחה מיוחסת מצאצאיו של הרב אלכסנדר סנדר שור. למד אצל דודו הרב אלכסנדר סנדר מרגליות וכן בישיבתו של הרב יצחק אייזיק מקוריץ. בצעירותו כיהן תקופה קצרה ברבנות אוהנוב (היבניב). לאחר שהתעשר בעסקי היהלומים, התמסר ללימוד התורה אך סירב לקבל על עצמו משרה רבנית. עושרו נתן בידיו כוח ותוקף להילחם בעירו נגד גבירים שהשתמטו מתשלום מיסי קהילה שלא כדין.
מבין חיבוריו נפוצו בייחוד ספרו על דיני קריאת התורה "שערי אפרים" ויצירתו "מטה אפרים" העוסקת בהלכות הימים הנוראים. ספרים אלה הפכו לספרי יסוד בתחומם ויצאו במהדורות רבות, שלכמה מהן צורפו הערות ונספחים מאת חכמים שונים.
בספרו מעלות היוחסין, חקר ומצא קשרי משפחה לשושלות רבנים חשובים שחיו כעשרה דורות לפניו כמו הרב משה איסרליש (הרמ"א), וכן לבעלי התוספות מתחילת ימי הביניים, ובראשם רבנו תם נכדו של רש"י. לפי מסורת שהייתה למשפחתו של רבנו תם, הם מיוחסים עד דוד המלך, והספר מביא את השושלת המשוערת לפי מסורת זו של בית דוד. בספרו גם מצא קשרים עם שושלות רבניות שחיו קרוב לימיו, כמו קשרים עם צאצאי הרב נפתלי כ"ץ מחבר הספר 'סמיכת חכמים' (חי כמאה שנה קודם לרב מרגליות), שאף הוא היה בעל מסורת על היותו משושלת בית דוד.
משפחת מרגליות הייתה משפחת רבנים ידועה, ומשפחות רבניות נטו לחפש קשרי נישואין ביניהן לבין עצמן, בייחוד אם נודע שיש להן "יחוס" לבית דוד. כך נוצרה קבוצה של "שושלות רבניות" המיוחסות לבית דוד, רבים מהם דרך קשרי נישואין עם צאצאי הרב מרגליות או קרובי משפחתו. משפחות אדמורים ורבנים מדפיסים ומציגים גם כיום ספרי יוחסין, ובהם רשימות עד הקשר למשפחת מרגליות, ומשם לפי העץ שבספר מעלות היוחסין, עד דוד המלך. בין משפחות אלו נמנים משפחת רוקח (שושלת אדמורי בלז), משפחת קוק בעקבות משפחת יפה, משפחת ברנדוויין (שושלות אדמורי סטרטין ופֶלשטין), בידרמן (שושלת אדמורי ללוב) ועוד.
