天平二年行基菩薩が開基。
讃岐の地に疫病が流行した時、聖武天皇の瑞夢に仏様が現れ、その疫病を治すようにとの指示によっての創建と言われる。
後、弘法大師が再興し、八葉山弥勒院施無畏寺と号した。
後宇多天皇の御代には、その勅願所となり、宝珠山三谷寺と改められた。
天正七年長曽我部の兵火にかかったが、生駒一正、松平頼重などの藩主の帰依を受け、再建・整備されて現在に至っている。