元慶五年理源大師によって金山山腹に創建されたと伝えられる。
始め宝珠山龍光院と号し、摩尼珠院に属していたとされる。寺の盛衰の内に天正年間に長曽我部の戦火で焼失。この時近くにあった吉祥寺を併合して、龍光院吉祥寺の寺号となる。
明治の神仏分離の際、讃岐国金毘羅別当金光院（現在の金平宮）から広瀬宥理師が入寺、寺門を再興され、現在に至っている。