Narodil se 17.1.1902 ve Rhedě ve Vestfálsku. 1.4.1923 nastoupil jako kadet k válečnému námořnictvu. Roku 1927 byl povýšen na poručíka a v roce 1929 na nadporučíka. Roku 1927 byl půl roku velitel jedné lodě v 1. flotile rychlých motorových člunů, potom tři a půl roku strážním důstojníkem v 1. flotile torpédoborců. Poté jednomu z nich sám velel.
Roku 1931 byl určen k leteckému výcviku ve Warnemünde. 1.10.1033 výcvik ukončil a do 30.9.1934 létal jako velitel 1. námořní letky. Po povýšení na kapitána 1.10.1934 byl odvelen na ministerstvo letectví, kde pracoval jako gruppenleiter ve 3. oddělení na problematice leteckého výcviku a přípravy školení. Současně dálkově studoval akademii válečného letectva v Gatowě. Od října 1937 velel 3. letce KGr.506.
V prosinci 1937 převzal velení námořní letky AS 88 v Legionu Condor. Se svou letkou útočil na pozemní a námořní cíle u východního pobřeží Španělska. Po jednoročním působení ve Španělsku nastoupil do štábu 2. letecké armády, kde setrval do počátku války - od 1.8.1938 v hodnosti majora.
Počátkem 2. sv. války se stal náčelníkem štábu X. leteckého sboru v Hamburku, který byl vytvořen pro boj proti námořním cílům. Sboru byly podřízeny KG 26 a KG 30, jež v zimě 1939/40 útočily na námořní cíle v Severním moři.
Harlinghausen si vyžádal povolení k bojovým letům a velitelská formace X. leteckého sboru se tak stala jeho prostředkem pro soustavné vylepšování taktiky. Už při prvním nasazení v norském tažení potopil britskou transportní loď. Při druhém náletu na Westfjord sestřelila jeho posádka britský hydroplán. V Norsku byl 14.4.1940 jmenován leteckým velitelm Drontheimu a velel tak letectvu zasahujícímu proti britským výsadkům u Aadalsnesu a Namsosu i dále na severu včetně letů nad Narvik. Potopení dvacáté lodi přineslo překročení hranice 100 000 BRT a vyznamenání Rytířským křížem dne 4.5.1940.
Od července působil opět u X. leteckého sboru, který byl v prosinci 1940 přeložen do Středomoří, kde na něm leželo těžiště operací proti Maltě, britské námořní síle a podpoře pozemních operací v Africe.
1.1.1941 byl povýšen na podplukovníka a jmenován leteckým velitelem severní Afriky, 30.1.1941 mu byly uděleny Dubové ratolesti. Na svém kontě měl tehdy potopení 26 lodí o celkovém výtlaku 127 000 BRT.
Počátkem března byl z Afriky odvolán za účelem jmenování velitelem letectva na pobřeží Atlantiku. Mezi hlavní úkoly leteckého velitele Atlantiku patřilo zajištění průzkumu pro podporu ponorkových operací leteckého námořnictva. Harlinghausen disponoval třemi skupinami pobřežního letectva a eskadrou KG 40.
Po počátečních úspěších v boji proti lodím začaly ztráty letounů narůstat. Harlinghausem se musel vzdát metodiky útoků, kterou sám počátkem války zaváděl, s tím jak se boj stával stále neúprosnější a britské lodě lépe byla stále lépe vyzbrojené. Do této doby spadá Harlinghausenovo poslední bojové nasazení, kdy v listopadu 1941 na ozbrojeném průzkumu napadl ozbojenou transportní loď v Irském moři a jen se štěstím se podařilo rozstřílený stroj dotáhnout k nouzovému přistání u francouzského pobřeží. Těžký otřes mozku a krvácení udělaly konec za jeho bojovými lety.
Po třech měsících v nemocnici byl jmenován zmocněncem pro využití leteckých torpéd. Zformoval první eskadru určenou pro torpédové útoky. 1.7.1942 byl povýšen na plukovníka. Od listopadu byl leteckým velitelem Tuniska. 1.12.1942 následovalo povýšení na generálmajora. Koncem ledna 1943 převzal jako velící generál II. letecký sbor ve Středomoří. Jehož hlavním cílem byl boj proti námořním cílům ve Středomoří.
Kritika rozkazů vrchního velení vedla 18.6.1943 k jeho odvolání, celý rok zůstal bez zařazení v nemilosti. V roce 1944 dostal jako komisař pro personální záležitosti Luftwaffe za úkol vytvořit v Itálii novou pozemní organizaci. 1.12.1944 byl povýšen na generálporučíka a v posledních dnech války převzal letecké velitelství Západ.
Ze zajetí byl propuštěn 1947. 1.8.1957 vstoupil do Bundeswehru, kde setrval do 31.12.1961.
