Актерская карьера Зиновия Гердта началась на сцене. В театр он попал после окончания училища, но не театрального. Гердт окончил фабрично-заводское училище Московского электрозавода имени Куйбышева, и пошел работать в "Метрострой" слесарем-электриком. Но, к счастью, при заводе был театр рабочей молодёжи, благодаря которому и появился Гердт-актер.
Когда началась Великая Отечественная война, Гердт пошёл на фронт добровольцем, и в 1943 году был тяжело ранен в ногу. Ему сделали десять безуспешных операций. Спасти Гердта удалось супруге Сергея Королева, работавшей ведущим хирургом Боткинской больницы. Она провела единственную успешную операцию, после которой кости у актера начали срастаться. Однако, в итоге одна нога Гердта стала на восемь сантиметров короче другой.
После войны актер устроился в труппу знаменитого Центрального театра кукол под руководством Образцова, где проработал без малого сорок лет. Его голосом говорили многие персонажи, но самым знаменитым стал конферансье Эдуард Апломбов из "Необыкновенного концерта".
В кино Гердт поначалу попал как актер дубляжа. Его голосом разговаривали многие зарубежные звезды, во многих фильмах он читал авторский текст. Что скрывать, зачастую именно его голос обеспечивал успех некоторым фильмам.
В кадр Зиновий Гердт попадал, как правило, в эпизоды, но играл их мастерски. Так же, эпизодически, он должен был появиться в фильмах "Фокусник" и "Золотой теленок". Но, увидев его пробы, режиссеры не могли ограничивать экранное время актера. В кино он сыграл более ста ролей, и нередко их писали специально "под Гердта".
В отличие от своего конферансье Гердт никогда не был самовлюблён. О себе он говорил так: "Знаешь, что раздражает? Так как я стар, люди меня внимательно слушают, потому что считают очень умным. А на самом деле это не так. Посмотри на меня и крепко запомни: умные люди выглядят как раз наоборот".