השיר מספר על דמותו של ברוך ג'מילי, חייל במלחמת העצמאות שהתפרסם בזכות כתובת גרפיטי שהשאיר על קיר מבנה בשער הגיא עליו שמר.[1] במשך שנים נשארה זהות כותב הגרפיטי עלומה, וקמו לו חקיינים רבים. כתובות הנושאות את השם "ברוך ג'מילי" ניתן היה למצוא בכל רחבי ישראל.
התעלומה הניעה את שלמה ארצי לכתוב את "הבלדה על ברוך ג'מילי" ביחד עם המלחין גידי קורן. השיר התחרה בתחרות "פסטיבל הזמר והפזמון 1974", וזכה במקום הראשון. מארגני הפסטיבל איתרו את ברוך ג'מילי, והעלו אותו לבמה לאחר הכרזת המנצח.[2]
השיר נכנס למצעדי הפזמונים השבועיים של הגל הקל ב־6 במאי 1974, וזכה להצלחה מיידית. בשבוע הראשון השיר דורג במקום השני במצעד. בשבוע השני הוא הגיע למקום הראשון במצעד, ושם שהה שבועיים. בסך הכול השיר נשאר במצעד שבעה שבועות, עד 1 ביולי 1974, ובמצעד השנתי תשל"ד של התחנה דורג השיר במקום ה־16.[3]