三毛祖師的由來，源于一個美麗的傳說。

相傳，在很久以前，有一戶人家，父母早亡，留下了金佛、金乾、金坤三位兄弟。他們三人相依為命，忠實憨厚，為人義氣，相繼到了成家的年齡，卻沒有成家。這天，老三說：“光靠我們兄弟三人在家呆著是不行的，如果我們能買個媽媽回家，幫我們看看門、料理料理家務就好了”。老大、老二都很贊成。

三兄弟的這種想法，被觀音菩薩知道了，她便裝成老婆婆下凡來到人間，被這兄弟三人請到家中來了，他們一起尊她叫媽媽。觀音菩薩到了金家以后，對著這兄弟三人說：“你們叫我媽媽不要緊，但是家里任何事都要聽我的、依我的，怎么樣？”兄弟三人齊聲答應道：“只要你愿意給我們做媽媽，我們什么事都聽你的。”于是，觀音菩薩就教他們什么時泡種插秧，什么時候除草，什么時候收割。兄弟三人都很認真地按照媽媽的話去做。他們出去干活回來，媽媽總是先端水給他們洗臉洗手，然后將燒好的飯菜，端上來給他們吃。一家人相處很融洽，也很和睦，兄弟三人都覺得很幸福。

稻子成熟了，媽媽就叫兄弟三人去地里收割。這一年收成相當好，年關算算帳，除了交完租子以外，還結余了一些，這兄弟三人樂得不得了，對媽媽更加順從、更加孝敬。媽媽看見兄弟三人樂成這個樣子，打心底里也十分歡喜。在和這三個兄弟共同相處的日子里，她覺得他們三人不僅忠厚老實，而且很勤勞，很能吃苦，所以觀音菩薩有心要幫助他們三人。

有一天，媽媽對兄弟三人說，你們把剩下的料草，用車子拉到集市上去賣吧！兄弟三人就用車子裝上料草，往集市上拉，媽媽自己跟在車子后面走。兄弟三人不依不饒，一定要讓媽媽坐在車子上，老大、老二在前面拉，老三在后面推，帶照顧媽媽。當車子來到雞籠山腳下時，媽媽叫車子停下。老三問：“媽媽有什么事情嗎？”媽媽說：“口渴，我要喝水。”媽媽這一講，兄弟三人也覺得口渴了，可是周圍沒有人家，到哪兒去搞水呢？媽媽說：“雞籠山上有水。”老三說：“雞籠山上有水，我去要一點。”媽媽說：“好，那你就快點去吧。”老三答應一聲去了。

過了半響，老三還沒回來。老二說：“老三怎么到這個時候還不回來，恐怕在上面貪玩了。大哥，你照顧好媽媽，我去看看。”老大點點頭，媽媽也點點頭。老二跑上山頂寺廟內，看見老三笑著坐在大殿中間，一動不動。于是，上前拉住老三，對老三說：“三弟，你坐在這里倒清閑，媽媽還等著你要水喝呢。”說著，他頓時感到很累，很倦，就挨著老三坐下來。老二想坐下來歇一會兒，這一坐下來，他也就和老三一樣，動也不能動了。

再說，老大在雞籠山下等候多時了，也沒見兄弟二人回來，心里十分納悶，他想：“今天二弟、三弟怎么啦？到這時水還沒弄來，人也沒回來，是不是出了什么事了？”老大對媽媽說：“二弟三弟到這時水還沒弄來，不知道有什么事情，我上去看看，媽媽可別走遠啊！”媽媽說：“你放心，我不會走遠的，你去吧！”老大一口氣跑上山，一腳踏進大殿內，看見兄弟二人坐在那里，上前就說：“媽媽口渴，還等著我們弄水，你倆還坐在這里悠閑得很呢！快弄點水，我們一道下山去。”說罷，他也感到很累，有些倦意，就往旁邊一坐，想輕松一下。可是，他也像兄弟二人一樣，坐在那里不能動彈了。

就這樣，老三坐在當中，老二坐在左邊，老大坐在右邊，兄弟三人在此悟道成佛。當然，這都是觀音菩薩幫助點化的結果。

金佛、金乾、金坤兄弟三人悟道之前，清白、清貧、清身，后人為了紀念他們，在雞籠山上建造了“三清殿”。兄弟三人被道教后又由佛教信徒們奉為“三毛祖師”，塑金身于大殿之中。