De club ontstond in 1882 na een fusie tussen Albion en Rovers en trad in 1903 toe tot de Scottish Football League. In 1919 speelde de club voor het eerst in de hoogste klasse, dat seizoen werd ook de finale van de beker gehaald, die verloren werd van Kilmarnock FC. Na enkele jaren onderaan de tabel degradeerde de club in 1923. Een terugkeer naar de hoogste klasse bleef uit tot 1934. Albion kon zich tot de Tweede Wereldoorlog in de hoogste klasse handhaven met uitzondering van seizoen 1937/38.
Na de oorlog werd de liga van 20 naar 16 clubs teruggebracht en werd Albion in de 2de klasse ingedeeld. Het volgend jaar promoveerde de club maar in 1948/49 werd de club laatste met 8 punten uit 30 wedstrijden. Daarna zakte de club langzaam weg naar de 3de klasse. In 1989 keerde de club nog eens voor één seizoen naar de 2de klasse terug. Toen in de jaren 90 de 4de klasse werd opgericht werd Albion daardoor verzwolgen. In totaal speelde de club meer dan 50 seizoenen in de 2de klasse.