湘山古塔始建于宋代，初名“永懷塔”。古塔系樓閣式空心磚體，六角，七級(jí)，鐵葫蘆頂，連基座到塔頂，共九層，高約13米，入口門(mén)楣上鐫刻“湘山寶塔”四字，左右兩側(cè)鑲嵌對(duì)聯(lián)：“月攜塔影天河去，我載琴聲鹿原來(lái)”。塔身中空，登上塔頂可俯瞰炎陵山城全貌。塔外部逐級(jí)鑲有“八仙過(guò)海”等浮雕，清代工部主事尹榮福到此游覽，留下了“殘霞飛殿角，落日掛林端。塔影連天碧，山光入水寒”的詩(shī)句。

1984年10月，湘山古塔被株洲市人民政府列為市級(jí)文物保護(hù)單位