Flesch og hans medtorturister hadde omtalt og behandlet Steinfeld som «der verdamte Jüde.» Da jødene i januar 1942 ble innkalt for å få sine pass stemplet med en stor «J» som forberedelse på det massemordet som skulle komme, satt Steinfeld allerede innesperret på Neevengården hvor han mottok brevet med krav om at han skulle innfinne seg med sitt pass på politikammeret. Som innesperret sikringsfange fikk han aldri gjort det, men Gestapo visste hvor de hadde ham.
Da arrestasjonene av jødene kom i oktober og november samme år ble store deler av hans jødiske familie arrestert. Først hans far Jacob, hans onkel Israel og hans fire fettere, Carl, Benjamin, Harry og Leonard Scheer.
Da kvinner og barn (gutter under 15 år) skulle arresteres 25. i november, ble også de Herman Steinfelds søsken som oppholdt seg i byen tatt og sperret inne før planlagt avsendelse samme kveld til Oslo med tog og videretransport mot Auschwitz med fangeskipet «Donau» neste dag.
Ut på ettermiddagen 25. november viste det seg at det bare var i Bergen tyskerne hadde arrestert halvjødene med dette formål. Sent på kvelden kom det kontraordre fra Eichmanns stedfortreder i Berlin, Rolf Günther, om at halvjødene ennå ikke skulle arresteres og sendes. De fikk vente og ble løslatt i likhet med Herman Steinfeld søsken.
Hans tante i Ålesund som var gift med Israel Steinfeld, Lea, klarte også ved hjelp av «falske» diagnoser å forpurre arrestasjonene av henne og hennes to barn, Reidun og Morten. Men til slutt ble også de tatt og sendt til Auschwitz på nyåret 1943. Der ble både hun, barna og Israel myrdet i likhet med Herman Steinfelds fire fettere i familien Scheer.
Steinfelds far, Jacob, ble etter mange års opphold og mishandling på Berg konsentrasjonsleir utlevert til Sverige i likhet med sin søster Eva og sin mor Dora. Årsaken var at de alle var statsløs med svensk tilknytning og Jacob var i tillegg gift med en norsk, arisk kvinne.
Etter mer enn to års fangenskap, unnslapp Hermann Steinfeld. I en vel planlagt operasjon fra motstandsbevegelsen, med doktor Salve Solheim og politibetjent Oscar Berntsen i spissen, ble det søkt om å plassere den påstått uhelbredelige og sinnsyke sikringsfangen i privat fostring hos hans søster på Solheim i Masfjorden. Det ville være billigere for staten. Søknaden gikk helt til Berlin, og til slutt ble den innvilget med forbud om at Steinfeld forlot Solheim uten okkupasjonsmaktens skriftlige samtykke.
Den 21. mai 1943 ble det notert i journalen på Neevengården at pasienten «utskrives i dag til forpleining hos sin søster og svoger i Solheim, Masfjorden». De som hadde satt planen i verk, hadde valgt ikke å holde Steinfeld informert, slik at han ved uttransporteringen fremstod nettopp som det de påstod han var, fullstendig forvirret. Slik formidlet Herman Steinfeld det hele senere i et intervju som da ble gjort:
Og så gikk båten fra kaien, og jeg tenkte at dette kan antakelig være en form for å likvidere meg hvis det er det som skjer nå. Eller så er det motstandsbevegelsen som har kontroll med dette her. Så kom vi om natten inn i en fjord, og der stoppet båten med iskanten. Så sier kapteinen: «Ja, her skal du i land. Du skal bare gå ut på isen, du. Se etter lyset du ser langt der inne.»
Jeg gikk i land på isen. Jeg hadde ingenting med meg. Og så gikk «Masfjord.» Jeg gikk og gikk etter lyset. Og endelig kom jeg inn til lyset, og der står det en liten hest; den minste fjordingen jeg har sett og en jækla høy mann. Han satt i ro, men sa: «Du er trøtt no, så du får sette deg på sleden. Han ble min pleiebror for resten av livet.