奈良時代、行基菩薩が開基。
古くは実蔵坊と言い、市内浜ノ丁の弘憲寺境内の辺り、松平藩御船蔵の西側にあったらしい。
万治三年増見阿闍梨が中興再建。元禄二年東福寺と号す。寛保二年現在地に移転。
延享元年本堂が建つなど、伽藍が整備されたが、昭和二十年八月、高松大空襲により、山門を残して全て焼失。
昭和二十五年五月、本堂などが再建されて現在に至っている。
身代わり観音の由来は、その昔、難病に苦しめられた女性が東福寺の聖観音さまに日夜祈願したところ完治し、その代わりに聖観音像の喉に病の痕跡が現れたことと伝えられている。