Регалии: В качестве тренера - чемпион мира (1954); Золотая награда Немецкой федерации футбола; член Зала славы немецкого футбола.
Родился 28 марта 1897 года в Мангейме (Германия).
После школы пошел на работу сначала подсобным рабочим, потом рабочим на металлообрабатывающую фирму. Участвовал в Первой мировой войне. Вернувшись с фронта, стал играть в местной команде и параллельно работал в «Дрезден Банке».
В 1921, 1924 и 1925 году вызывался в сборную Германии. Забил за нее два гола. В 1930 году закончил Немецкий институт физкультуры.
Тренировать начал в начале тридцатых, в 1932 году Зеппу доверили работу со сборной Западной Германии. Через год он уже был помощником главного тренера. А в 1936 году после поражения немцев на Олимпиаде и увольнения Отто Нерца - главным тренером объединенной команды Германии и Австрии.
Эта команда в первом же туре уступила Швейцарии - 2:4. От увольнения Хербергера спасло только то, что началась Вторая мировая война. В период с ноября 1936 года по ноябрь 1942 года сборная под руководством Хербергера провела 65 матчей, в которых одержала 40 побед, 12 раз сыграла вничью и 13 раз проиграла.
В 1949 году Хербергер вновь был назначен главным тренером сборной ФРГ. А в 1954 году привел западногерманскую команду к чемпионскому титулу на Кубке мира. В финале немцы одолели сборную Венгрии со счетом 3:2, что было названо «Бернским Чудом» по той причине, что венгры были явными фаворитами первенства, победив чемпиона и финалиста прошлого чемпионата мира, а на групповой стадии разгромив тех же немцев - 8:3.
На следующем первенстве мира в Швеции сборная ФРГ дошла до полуфинала, а еще через 4 года ограничилась четвертьфиналом.
В 1964 году Хербергер был уволен с поста главного тренера сборной ФРГ, но попросил провести прощальный матч, который был сыгран 12 мая 1964 года со сборной Шотландии. Игра завершилась со счетом 2:2. Тогда Хербергер попросил сыграть вторую прощальную игру. 7 июня в Хельсинки немцы разгромили финнов - 4:1.
Сборная ФРГ под руководством Хербергера с 22 ноября 1950 года по 7 июня 1964 года провела 97 матчей, 52 раза победила, 14 свела вничью и 31 проиграла.
Всего сборная ФРГ с Хербергером во главе провела 162 игры (92 победы, 26 ничьи и 44 поражения).
Скончался: 28 апреля 1977 года в Вайнхайме (Германия).