Jónsson inledde spelarkarriären i ÍA Akranes innan han i februari 1985 flyttade till Sheffield Wednesday i England. Han tillbringade fyra år i Sheffield och spelade 67 matcher för klubben. Under denna period var han även utlånad till Barnsley en kort tid. I juli 1989 värvades han av Arsenal för 475 000 pund. Under tiden i Arsenal var han dock skadedrabbad och spelade bara nio matcher på tre säsonger. Sommaren 1992 återvände han till ÍA där han spelade i tre säsonger innan han gick över till den svenska klubben Örebro SK. Två år senare flyttade han till skotska Dundee United där han återigen fick problem med skador. Efter 43 matcher med Dundee flyttade Jónsson tillbaka till Akranes för tredje gången där han spelade fram till 2001 då han avslutade spelarkarriären.
Inför säsongen 2007 anställdes Jónsson som ny huvudtränare för Djurgårdens IF Fotboll med ett treårskontrakt. En spelare i laget; Sölvi Ottesen, har han tidigare tränat i klubben Vikingur. Den 19 november2008 meddelade Djurgården att kontraktet bryts ett år i förtid.