当寺は天台宗。天延元年(973)12月8日の年紀をもつ「播州太山寺縁起」には藤原鎌足の子、定恵和尚の開山、霊亀2年(716)公の孫である宇合（不比等の子）の建立と伝える。宇合が明石浦摩耶谷の温泉で療養中、夢の中に薬師如来が出現した。薬師如来は、ここより東北の地に定恵和尚結縁の地があり定恵和尚は願望を果 たせず寂したと示現したところ、宇合はその教示に従い七堂伽藍を整備し薬師如来の尊像を安置したという。
　元正天皇（715〜723在位）の勅願寺として、歴代天皇をはじめ一般民衆にいたるまで広く信仰を集めた。
　建武中興（1334）の時は、朝敵北条勢を討つため大塔宮護良親王の令旨を受けて、当寺衆徒のめざましい活躍があった。寺運は大いに栄え、この地方の一大法城として南北朝時代には支院四十一ヶ坊・末寺八ヶ寺・末社六ヶ社を持ち僧兵も養っていたが、世相の有為転変や戦火によっての興亡・浮沈は著しく、現在は龍象院・成就院・遍照院・安養院・歓喜院の五ヶ坊となっている。
　播磨の名刹として幾多の戦乱や時勢の波にもまれながら1300年の法燈を守り続けて来た太山寺は、今新たなる歴史を歩もうとしている。