永仁年中宥弘法印によって、青ノ山の東麓の観音山に開創された。現在その趾は「観音堂」と呼ばれ、三個の巨石が重なる「三つ岩」が遺っている。
戦国の兵火にかかって焼失したのを、延宝三年良意法印が、五十メートル程下った現在地に再興している。
この地は、室町時代、足利幕府の執事として活躍した細川頼之が、前後十二年間にわたって居を構えたといわれる所である。