Звання унтершарфюрер було введене в системі звань СС після її реорганізації, що послідкувала за Ніччю довгих ножів, в ході якої було створено декілька нових звань, щоб відокремити СС від СА.
Звання унтершарфюрер СС було створене із старого звання СА шарфюрер. Після 1934 року звання унтершарфюрер СС стало рівне званню шарфюрер СА. Звання унтершарфюрер було першим унтер-офіцерським званням в СС. Це звання було найпоширенішим в СС. У Загальних СС (нім.Allgemeine-SS) унтершарфюрер зазвичай командував відділенням від семи до п'ятнадцяти чоловік. Звання також широко використовувалося у всіх нацистських службах безпеки, таких як гестапо, СД і айнзатцгруппи.
Звання було також рівне першому кандидатському званню в офіцери Ваффен-СС — юнкер СС. Оскільки вимоги до бойових унтер-офіцерів були вищі, ніж до унтершарфюрерів загальних СС, претенденти на це звання піддавалися у Ваффен-СС спостереженню і відбору. Протягом цього часу претендент вважався «кандидатом в унтерфюрери» і отримував це звання після відповідної оцінки, тренувань і іспиту.
