Harmon fu scelto dai Chicago Bears come primo assoluto nel Draft NFL 1941[2], preferendo tuttavia firmare per i New York Americans della rivale American Football League. Durante la seconda guerra mondiale si arruolò nelle forze aeree. Dal 1946 al 1947 Harmon giocò nel football professionistico nei Los Angeles Rams, ma gli infortuni alle gambe riportati durante la guerra limitarono le sue prestazioni. Si concentrò in seguito nella carriera radiofonica e televisiva, diventando uno dei primi atleti ad effettuare con successo la transizione da stella sportiva a celebrità dei media.
Nel 1944, Harmon si sposò con l'attrice Elyse Knox, dalla quale ebbe tre figli, Kirstin (nata nel 1945 e morta nel 2018), Kelly (nata nel 1948) e Mark, nato il 2 settembre 1951 e divenuto celebre attore cinematografico e televisivo, noto in particolare quale protagonista della serie televisiva NCIS - Unità anticrimine.