倒骑驴
由于他崇尚道家，还曾模仿张果老倒骑驴在华山闲逛。他的朋友魏野在《赠潘阆》的诗中说道「从此华山图籍上，又添潘阆倒骑驴」，就是记载了他倒骑驴的轶事。
要说张果老倒骑驴，可不是图什么好玩儿，也不是为了博人眼球儿，当个世俗的网红。那是因为他发现世风日下，很多人迷于功名利禄，远离了道德和神性，将有大劫之忧，所以他以倒骑驴来警示世人。不知潘阆是否真正理解张果老的意思，所以才效仿他呢？
陈抟老祖
潘阆隐居华山时，认识了道家高人陈抟（号希夷）。
陈抟修学《老子》《庄子》等，拜麻衣道者为师，而且他好读易经，手不释卷。所以若论他的学术成就，可谓「淹通三教」，独树一帜，比如他传河洛数理，创先天易图，开象数宋门，可是当时的顶尖人物。
而且他志在修道，飘飘然有出世之志。《宋史·陈抟传》记载，八仙中的吕洞宾就曾数次造访陈抟的茅斋。陈抟与世无争，不求世俗的功名利禄，不贪富贵荣华，是一位得道高士，宋太宗特赐名号「希夷先生」。修道有成的陈抟还被后世尊称为「陈抟老祖」。
若说陈抟预测人福祸吉凶的能力，可是口无虚言。他曾告诫潘阆一些事，但是潘阆没有听进去，结果惹到了很大的麻烦。这些麻烦事，后来是潘阆在自己的纪事诗《寄陈希夷》中说的，诗文曰：
不信先生语，刚来帝里游。清宵无好梦，白日有闲愁。
世态既如此，壮心应已休。求归归未得，吟上水边楼。
从诗文来看，陈抟规劝潘阆不要到京城去，但是潘阆没有听从先生的话，执意到了京城。结果他到京城游历不久就惹祸上身，以至于「清宵无好梦，白日有闲愁」。
或许，他想要追求的目的并没有达到，所以不甘心就这么空手而归。看来，他还想在世俗追求一番功名富贵，但他没有预料到，更大的麻烦已经悬在头顶上。
受谋逆牵连
太平兴国七年(982年)，宰相赵普奏称，卢多逊和秦王赵匡美（宋太祖赵匡胤和太宗赵光义的弟弟）暗中来往密切，将要图谋不轨，欲立秦王为帝。而潘阆担任秦王赵廷美的记室参军，因此受到牵连。
密谋称帝，反对当朝天子，这可是诛杀九族的谋逆大罪。朝廷下令追捕，受到牵连的潘阆为保命只得假扮成僧人一路逃亡，曾在杭州、会稽一带卖药为生。
十多年后，潘阆以为先前的风声早就已经过去了，于至道元年(995年)，在宦官王继恩的推荐下再次入京，还得到了宋太宗的召见，赐进士及第。
宋太宗没有加罪，还赐予功名，这可是天大的好事啊，但是潘阆行事太狂妄不羁，这桩好事没过多久，朝廷便下令追回了恩赐诏书。
潘阆是个很矛盾的人。他一边感叹「红尘三尺深，中有是非波」，一边又感叹他的才华「无人高吟汉帝前」。他一边骑驴倒行，念叨着「我爱看华山，其实不喜入京也」，一边又数次流连汴京。纠结的性格，使他的命运偏偏和谋逆交织在一起。
再惹大祸
宋太宗驾崩前，潘阆又被人举报他和王继恩等人打算拥立赵匡胤的孙子为帝，结果即位的是宋太宗的儿子宋真宗。
宋真宗即位后，将王继恩等人关进大狱。潘阆再次受到牵连，不得不再次逃亡。到了咸平初年，以为躲过风头的潘阆竟然放胆第三次入京，结果被抓入狱。宋真宗过问此事后，不久就下令赦免他。咸平元年（998年）潘阆赴滁州(今安徽)任参军。
在滁州任上，潘阆倒也兢兢业业，看来官声不错，以至于离任时满城百姓不舍得他离开，纷纷前来相送，于是有了「须信滁阳人有意，满城来送散参军」的诗文。
他纠结的命运，随着他的狂妄不再，似乎有了舒展。先前的陈抟老祖正因看到了他入京的结果，所以才早早规劝他。当年的潘阆自恃才高，狂妄不羁，给自己差点招来杀身之火，灭顶之灾。这才有了他后来的这首纪事诗传于后世，让人引以为戒。
参考资料：
《宋史·陈抟传》巻457
《宋史·王继恩传》卷466
〔宋〕沈括：《梦溪笔谈》卷25
〔宋〕王明清：《挥麈录·余话》