据说，王彦升小时候就膂力过人，展现出极高的武术天赋，尤其是擅长玩剑，人送外号“王剑儿”。他靠着这身武艺在后周的时候，就已经是赫赫有名的战将了，跟着柴荣打天下，这时候他和赵匡胤私交还不错，所以当陈桥兵变的时候，王彦升很乐意为赵匡胤扫除障碍。兵变的过程其实是很顺利的，除了王彦升多此一举的冒失。怎么回事呢？原来是赵匡胤曾下令禁止杀害后周官员，不听从自己的旧臣免职即可。偏偏这时王彦升在进入京师汴梁的过程中，后周将领韩通率军抵抗，王彦升杀性一起，便将韩通一家全部灭门。
于是赵匡胤非常不悦，但建国之初需笼络人心，更何况王彦升立下拥立大功，赵匡胤不好惩罚他，仍授予其恩州团练使和铁骑左厢都指挥使的官职，后又任京城巡检之职。一天晚上，他以巡检的名义竟跑到宰相王溥的家里索取贿赂，当然了也不是明目张胆地要，而是说“巡城很累，来王公家讨几杯酒喝”。王溥假装不知道其目的，摆上酒宴招待了王彦升。结果第二天王溥就将此事密奏宋太祖，赵匡胤于是将王彦升外放边境守边去了。王彦升的狂妄和鲁莽让他在朝中遭受重挫，但却让他在边关如鱼得水。
当时的西夏党项人时不时入侵边境抢东西，让王彦升很是恼火。有一次，王彦升擒获战俘后并不处刑，而是召集同僚和下属一起饮宴，然后把战俘拉到宴会上用手扯断战俘的耳朵配着酒吃。此时战俘满身是血吓得浑身哆嗦，一动也不敢动，每次都有几百个战俘有如此遭遇。众人见之色变，王彦升的名号也传到了周边的少数民族那里。他们只要听闻王彦升的名字，就心生恐惧，不敢再骚扰边塞。《宋史》载：“王彦升守原州……二十年间无西北之忧。”