Hans Herrmann participa surtout aux courses de voitures de sport, il ne connut pas la même réussite en Formule 1.

C'est en 1953 que Hans commence à courir, en voitures de sport sur Porsche. En Formule 2, il engage à titre privé une Veritas Meteor, avec laquelle, il termine quatrième de l'Avusrennen. Il participe également au Grand Prix d'Allemagne sur le Nürburgring où il termine neuvième. La saison suivante, après une troisième place lors de la Carrera Panamericana, il rejoint l'écurie Mercedes-Benz, qui effectue son grand retour en F1 après quinze ans d'absence. Face à Karl Kling et surtout au champion du monde Juan Manuel Fangio, Hans ne peut que s'incliner, mais cela ne l'empêche pas de réaliser de belles prestations.

Lors de sa première course de F1 en France, il réalise le meilleur tour en course. En suisse, il monte sur le podium puis se classe quatrième lors de la course suivante en Italie. Il termine également troisième lors d'une course hors-championnat à Berlin.

En 1955, sa carrière est interrompue par un accident lors des essais du Grand Prix de Monaco, au cours duquel il se casse plusieurs vertèbres. Pendant sa convalescence, l'accident de Pierre Levegh au Mans pousse Mercedes à se retirer à l'issue de la saison. Hans aura toutefois le temps de triompher avec les flèches d'argent lors de la Targa Florio.

Le pilote allemand revient chez Porsche pour la saison 1956, et avec Wolfgang Von Trips, il remporte la victoire dans sa catégorie lors des 12 heures de Sebring. En 1957, il fait son retour en F1, d'abord à Syracuse, puis sur le Nürburgring, avec une Maserati 250F dont le moteur ne tiendra pas assez longtemps pour atteindre la ligne d'arrivée.

En 1958, il court trois épreuves, mais sans grand succès, tandis que dans le même temps, il termine troisième des 24 Heures du Mans. En 1959, il termine deuxième d'une épreuve de Formule 2, mais il a moins de réussite dans la catégorie supérieure d'autant qu'il est victime d'un sérieux accident sur l'AVUS, mais s'en sort sans blessures graves. L'année suivante, il remporte deux épreuves majeures en voitures de sport : la Targa Florio, et les 12 Heures de Sebring.C'est avec Porsche qu'il court ses derniers Grands Prix de F1. En 1960, à Monza, il réussit à se classer dans les points et participe à trois Grands Prix en 1961 avant d'abandonner les courses de monoplaces, au profit des voitures de sport.

Au milieu de la saison 1962, Hans quitte l'équipe Porsche pour piloter une Abarth, avec laquelle, il remporte l'épreuve des 500 km du Nürburgring. Il récidive l'année suivante, et court également quelques courses de Formule 2. Il pilote pour Abarth jusqu'à la fin de la saison, avant de revenir chez Porsche, écurie avec laquelle il va remporter l'épreuve de Zeltweg en fin d'année.

Il participe au Grand Prix d'Allemagne 1966, mais avec une Brabham de Formule 2 et termine quatrième de la catégorie. Il remporte une nouvelle victoire importante en 1968, les 12 Heures de Sebring, et termine fréquemment sur le podium. En 1969, il est engagé pour disputer le Grand Prix d'Allemagne de F2, mais après l'accident mortel dont a été victime Gerhard Mitter, il décide de se retirer de la course.

En 1970, il remporte enfin la mythique épreuve des 24 Heures du Mans avec le Britannique Dick Attwood, ce qui marque sa dernière apparition en compétition automobile.