如果鬼魂在夜間幹了傷天害理的事情，神荼、鬱壘就會立即發現並將它捉住，用芒葦做的繩子把它捆起來，折桃木為武器，痛打他們，送去喂虎。因而天下的鬼都畏懼神荼、鬱壘。因為鬼一見到桃木就會想起被神荼、鬱壘痛打的經歷，所以對桃木十分畏懼。作為眾鬼魂的監管者，神荼、鬱壘自然也受到鬼怪的敬畏，因此人們便將他們的名字寫在桃木板上，讓鬼魂們見之恐懼，逃遁開去。
桃木趨避邪祟，中國人對這一說法深信不疑，至於為什麼只有桃木有這種功能，而不是其他的樹種木材，最早的說法與夸父有關。據說遠古時期天上掛着十個太陽，炎熱無比，大旱的天氣根本無法從事種植和生產，因此人間不斷鬧出饑荒，無數人成為餓鬼，百姓苦不堪言，紛紛祈願能夠消滅太陽。
傳說夸父來自一個巨人部落夸父族，夸父族人都是熱心腸，善於奔跑且身材高大、身懷巨力的人。聽聞天下人的心愿，夸父決心用自己的力量去擊落其中九個太陽，給予眾生新生。夸父追日時，曾經手持拐杖以協助自己長途跋涉，而這根拐杖便是用桃木所制。夸父最終在逐日的過程中乾渴而死，死後手中的桃木拐杖落地便化作了渭河上游的一片桃林。由於夸父在古人心中的英雄形象且與太陽有關，因此古人認為桃木受到了夸父的庇佑，邪祟在敢於追逐太陽的英雄面前當然無處遁形，所以有了桃木辟邪的說法。
而另一個說法則跟西王母有關，與後世將西王母和玉皇大帝相匹配的傳說有所不同。在漢朝之前，西王母在傳統漢族文化擁有絕對的權力，以及至高無上的地位，而她居住的地方便是昆崙山。在傳統道教思維中，昆崙山是不可或缺的存在，從它發展出了一個名為崑崙神話的神話體系，而崑崙神話的締造者自然就是西王母了。道教追求成仙，而成仙只有兩個途徑，一是艱苦修行，二是吃下西王母賞賜的蟠桃。
西王母在昆崙山上開闢了一片地，專門用來種植桃樹，所種出來的桃樹不論是結出來的果實蟠桃還是木材，自然都是非凡之物了。而那些專註於修仙的道士，他們便可以通過桃木製作的劍刃，斬妖除魔，給予一切妖魔鬼怪以震懾和殺傷。總的來說，桃木背後有着和夸父、西王母有關的神話故事的渲染，寄託着古人美好的願望和追求，因此意義非同一般。穿梭在中國傳統文化的浩瀚煙海中，總會為中華文明的璀璨文化所動容。