據說，綽廟地區農歷三月三趕廟會的習俗，起源于楚漢相爭時期。垓下之戰以后，項羽兵敗，一路奔逃，過了滁河，來到寒山寺和插花山之間。漢兵追到滁河對岸，項羽兵分兩路，自己向烏江方向這邊逃走。為避開漢兵，項羽抄山上小路走，命其他眾人順山下大道奔跑。

項羽急急忙忙逃到陰陵山腳下時，看到一個農家婦女正在路旁割草，他立刻下馬朝她急速地走過來，一邊向她問路，一邊對她說：“你千萬不要告訴別人，有一位大將軍曾經從這里路過。”農婦直起腰直率地對項羽說：“請大將軍放心，我不說就是了。”項羽聽后，馬上轉回身，飛身上馬急急忙忙地走了。走了沒有多遠，項羽有點不放心，于是又調轉馬頭，快速回到農婦割草地方，向農婦說明了自己的身份和現在的處境。項羽言辭切切地說：“后面的追兵已經到滁河邊了，要不了多少時間就要追過來了，他們一定會問你，有沒有看見一位將軍從這里走過，你千萬不能告訴他們我的去向。實話告訴你，我本想一劍殺了你，念你是一個農家婦女，于心不忍，饒你不死。但是你一定要按我所講的去做，死活不要說出我從這里路過。”農家婦女一聽，面前騎在馬上的這個人就是楚霸王，大吃一驚，立即放下手中的柴刀，雙膝跪在地上說：“貧婦不知霸王到此，謝霸王饒命之恩，追兵到此，我絕不會說出你的去向”。項羽聽后，又上馬趕路，項羽走不多遠，心里還是覺得不踏實，又打馬跑回來。農家婦女見楚霸王對自己不相信，只好拿起手中的柴刀，自刎而死。

項羽一見，懊悔得很，覺得很對不起這位素不相識的女子。項羽逃到烏江，已是獨自一人，江邊有一只船在等候，項羽感到自己已是末日來臨，無顏見江東父老。他要求船家把馬渡過長江去，并向船家交代了后事，他把陰陵山上那位農家婦女自殺的事情，向船家說了一遍，請船家找當地的百姓們，在山上修一座廟，塑一個塑像，來紀念這位無辜的農婦，船家答應了。

項羽看見自己的烏騅馬已經渡過江，于是悲憤地拔劍自刎。項羽烏江自刎以后，綽廟地區人按照項羽囑托在陰陵山旁建造了一座廟。當地百姓根據楚霸王三找農家婦女的事，約定每年農歷三月初三上山進廟朝拜。三月三廟會一直就這樣傳下來了。