Schwarz is afkomstig uit de jeugdopleiding van Mainz 05. In het seizoen 1997/98 debuteerde hij in de hoofdmacht van die club. In drie seizoenen tijd speelde hij in totaal slechts zeven wedstrijden, maar vanaf de zomer van 2000 kreeg hij een vastere rol in het eerste elftal. In 2004 verliet Schwarz de club en hij ging bij Rot-Weiss Essen voetballen. Na twee jaar daar speelde hij nog vier seizoenen bij Wehen Wiesbaden.
In maart 2009 zette Schwarz een punt achter zijn actieve loopbaan en hij werd direct aangesteld als interim-hoofdtrainer bij Wehen Wiesbaden. Vanaf de zomer van 2009 was zijn interim-periode voorbij en werd hij assistent-trainer bij de club. Na één seizoen verliet de Duitser de club weer in deze functie. Een jaar later werd hij aangesteld als trainer bij 1. FC Eschborn.[1] Gedurende twee seizoenen is de oud-middenvelder trainer van deze club, alvorens hij terugkeert naar zijn oude club Mainz 05, waar hij het hoogste jeugdteam ging trainen.[2] In 2015 werd Martin Schmidt, trainer van het belofteteam, aangesteld als nieuwe hoofdtrainer van Mainz na het vertrek van Kasper Hjulmand. Hierop schoof de club Schwarz door naar het tweede elftal.[3] In de zomer van 2017 werd Schmidt ontslagen en Mainz stelde oud-speler Schwarz aan als zijn vervanger. Hij zette zijn handtekening onder een verbintenis voor de duur van drie seizoenen.[4] Hij kreeg in november 2019 zijn ontslag. Hierop ging de Duitser voor het eerst in het buitenland werken, bij Dinamo Moskou.[5] In 2022 nam hij ontslag in de Russische hoofdstad om trainer van Hertha BSC te worden.[6]
West-Duitsland
· 
· 
