I mai 1941 ble Noot overført til Oslo. Noen måneder senere ble han sjef for Abteilung III SD (Avdeling III SD, sikkerhetstjenesten) i det tyske politiet Sipo og SD i Norge. Med denne stillingen ledet han den egentlige sikkerhetstjenesten i Norge mesteparten av okkupasjonen. I 1943 avanserte han til SS-Obersturmbannführer (oberstløytnant).
En av Abteilung IIIs oppgaver var å ha oppsyn med tysk sivilt personell og tyske organisasjoner i Norge. Hans avdeling samarbeidet med Gestapo, selv om det kom til adskillige konflikter mellom de to avdelingene. Noot ble etter hvert skeptisk til den økende voldsbruken som Gestapo sto for.
Herbert Noot sendte også kritiske rapporter på Josef Terboven om hans voldspolitikk til Referat Norwegen, Norgeskontoret, i Amt III SD i Reichssicherheitshauptamt, RSHA, (rikssikkerhetshovedministeriet) i Berlin, ledet av professor Richard Frankenberg. Etter forsøket på å likvidere Adolf Hitler 20. juli 1944 fikk Abteilung III i oppdrag å undersøke moralen innad i den tyske hæren, Wehrmacht, i Norge, spesielt blant offiserene. Det samme skjedde i okkupasjonens sluttfase.
En viktig medarbeider av Noot var SS-Hauptsturmführer (kaptein) Georg Wolff, som redigerte Meldungen aus Norwegen (meldingene til Norge). Mye av Abteilung IIIs arbeid besto i å analysere materiale fra åpne kilder. Særlig avisene ble nøye saumfart. I tillegg ble det organisert et nett av «Vertrauensmänne» (agenter), særlig knyttet til Referat III N. Disse ble brukt til å samle opplysninger på felter hvor det var vanskelig å få innsikt gjennom åpne kilder. Noots agenter infiltrerte blant annet Vidkun Quislings interne etterretningtjeneste.
Historikeren Hans Fredrik Dahl betegner Herbert Noot som «den enkeltperson som hadde den største etterretningsbaserte innsikt i politiske stemninger og tendenser i Norge». Noot og hans nærmeste medarbeidere førte åpenhjertige samtaler og fortrolig korrespondanse med flere motstandsinnstilte nordmenn. Dahl nevner dommeren Erik Solem, jusprofessor Frede Castberg og biskop Eivind Berggrav blant disse. Også næringslivets ledere fikk uttale seg fritt overfor Noot. Videre hadde Herbert Noot gode kontakter i det kommissariske LO.