族譜中記載番人（即高山族人）認為萬物皆有靈，人死后是有靈魂的，而且有善惡之分，善者可以順利進入冥界地府，安然轉世投胎；惡者就會四處飄蕩，沒有歸宿，彷徨在人間偷偷摸摸，不能投胎轉世。所以，當然大家都希望自己親人的亡靈能安然投胎轉世。但伯始祖公死后并沒有像當地那樣行廟喪之禮，這是因為族人認為這是漢人的禮俗，這樣做的意思是先將亡靈報告并交給土地神，然后押給城隍爺，再送到陰曹地府，由豐都城分撥亡靈的下落歸宿。而他們是高山族，高山族人的冥界地府在臺灣而不在豐都城，如果把親人的亡靈送去一定會遭到他們的凌辱，所以要按照高山族的風俗禮儀送伯始祖的亡靈回歸故里。照番俗安葬了伯始公后，過了五七，他托夢給子孫說，冥界的路茫茫無邊，千山萬水十分漫長，妖魔鬼怪阻道，刀槍劍戟林立，都向他索要錢財，幸虧各路神仙念在他收復臺灣功勛卓著，南明時冊封義勇將軍，還在黑龍江征剿沙俄收復失地，清朝也欽賜從五品官銜，屢蒙皇恩庇佑，所以都前來營救，幫助他翻山越海終于返回臺灣故里。子孫都感嘆道：“活著的人回歸故里難，卻不知道亡靈返回故鄉更不容易啊。”

后來到了仲叔季三祖去世殯葬時，就更加謹慎了，希望他的亡靈能順利回鄉。他們把棺木橫放在中堂，表示和地方漢民習俗不同，出殯時小頭朝前并且在墓坑底另放一塊木板，象征船的意思，好讓亡靈漂洋過海回到臺灣。他們在深夜舉行跳棺和偷送的禮儀，在棺上注明同行背包袱的人和艄公的姓名并且拳拳囑咐再三，希望亡靈能安然回歸故鄉。不料三祖多次托夢給親人，哭訴說村南頭角落有一個坑塘，水底常年居住一條蚯蚓精怪，千年修練成精，已經變成蛟龍，專門追人魂魄，而鳩九門關的鬼也是一樣。傳說中，鳩九門關的鬼有很多類，罔象之鬼喜歡吃死人的肝；貘鼻之鬼吸食死人的腦；獨足之鬼吃死人的心；疫病鬼會發災難；疫瘧鬼會降疾病；魍魎鬼會設羈絆；魑魅鬼投擲鎖鏈；無頭鬼使用弓弩劍戟；水鬼發洪水；旱鬼會施火，除了這些還有山鬼、海鬼等等，多不勝數，都是惡鬼。仲叔季三祖一路邊打邊走，戰的遍體鱗傷，刀傷槍痕鮮血淋淋，好不容易終于跑到了海峽，眼看就到了臺灣故島，不料那可惡的蚯蚓精怪施展騰云駕霧的本事竟然緊追不舍，還賄賂了南海龍王和東海龍太子掀起驚濤巨浪遮天蔽日，布下層層海鬼妖魔阻攔，使三祖的亡靈無法回歸臺灣故島入冥界，只能在沿海彷徨游離而沒有歸宿。

眾族人知道后非常痛心和憤怒，于是請了很多高僧和道士做法祈禱蛇王祖靈指點。然后他們依法以數十車石灰填滿了村南角落的坑塘，果然像夢里說的一樣，水面果然浮出碗口那么粗，一丈多長的黑色蚯蚓，棕色的毛、白線肚，三個頭六只爪，血口獠牙，非常恐怖。它在水面旋轉三圈后，突然一股白氣沖天，通體像炭一樣，挺直僵死了。眾族人把它撈上來剁成粉屑，不慎撒在地上，竟然毒死一群雞鴨。眾人見此景無不大驚失色，決議在坑塘上架一座南北石橋，供死去族人的亡靈順利回歸臺灣故里。石橋用鳩運靈山的石頭和糯米汁摻沙灰壘建搭砌而成，橋的北端建一座蛇王祖靈廟。橋的石欄柱頭雕刻獅子母乳顧抱負贅，柱身雕刻龍之九子：第一個是赑屃，形狀像龜，能負重物；第二個是螭，嘴的形狀像猛獸，擅長遠望；第三個叫蒲牢，形狀像龍，但比較小些，喜歡吼叫；第四個是狴犴，形體像虎，有威力；第五個叫饕餮，貪食；第六個叫蟣蝜，水性好；第七個叫睚眥，性格暴戾，喜歡殺戮；第八個叫金猊，長的像獅子，喜歡噴煙吐火；第九個叫椒圖，像螺蚌，能吞云吐霧。這些都是護送保護亡靈的。石橋竣工那天，三祖亡靈又托夢給親人，高興地說他已經有了歸宿。蚯蚓精怪因為阻撓功勛后裔歸宗受到天庭的懲罰，將它的魂魄刺字發配到昆侖山頂永世挖掘巖石，再也不能禍害冥界了。玉皇大帝又降旨給閻羅王說，凡是鄧州高山族亡靈歸返臺灣的，沿途妖魔鬼怪一律要讓路回避，違者格殺勿論。

所以高山族每次為死去的族人出殯的時候靈柩都要在橋端祭奠，后來世人把這座石橋稱為望鄉橋。

這就是望鄉橋的傳說和鄧州高山族人送葬禮儀風俗的由來了。鄧州高山族人深夜跳棺、唱送葬的歌囑咐亡靈、將棺木橫放，底下另放一塊木板等的風俗就是從此而來的。