弘仁年間弘法大師が、その師岡田牛養博士を祈念して草創し、火内山大岡寺と号していた。
天正年間長曽我部の兵火に遭う。
寛文三年恵忍泰然和尚が山城国より来り、高松藩祖松平頼重二代頼常の庇護を受けて本堂などを再建東林山霊芝寺と改めた。よって和尚を中興の祖と呼ぶ。
文政十一年、天保十四年と火災に遭い、明治二年日内山と改める。昭和八年にも火災に遭ったが、同十三年に再建されて現在に至っている。