大同三年（八〇八年）四国霊場第七十番本山寺建立の時、阿讃山脈の大師谷にて用材を伐り出した。その際、観音様が砥石に変化してキコリを助け、わずか一夜で建立した。そこでその用材置場を記念して、弘法大師が一宇を建立されたのがこの寺の開創である。
なお、九年後の弘仁八年は大旱ばつに見舞われた年であるが、財田石野地区だけは稲穂が実ったので、人々はその稔りを天皇に献上した。喜ばれた天皇の命により、大師は毘沙門天を祀り、現在の寺号をつけられたという。