南岳衡山禅宗的第一胜迹当数南台寺，该寺位于湖南省衡阳市南岳区瑞应峰下，海拔600余米，号称「天下法源」，距福严寺不到2千米。该寺兴建于梁天监年间(502-519年)。陈光大元年(567年)海印禅师曾经在这里修习禅法。唐天宝年间，禅宗七祖弟子希迁在行思禅师处学有所成之后,辗转到此。希迁将该寺定名为南台寺。
因南台寺的附近有一警石，平坦如砥，希迁便于其石上结庵，传授南宗慧能的禅法。当时南岳怀让等僧侣都很尊重他，他的影响日益广泛、来学习禅法者也日渐增加。不久，南台寺便成为南宗禅的一大道场，民众纷纷赶来皈依。希迁弟子有道悟、惟严等21人，后来逐渐分化为云门、曹洞、法眼三家。因此，南台寺可谓这三家禅宗的真正祖庭。
南台寺自唐代创建后，曾经圮废，直到宋代乾道元年(1165年)才被重新修缮。至明朝初年，寺院荒废。明弘治年间，元碍和尚重建清初，寺院再次圮废。有些僧徒趁机分移寺产，在山下岳庙旁各建小寺，自称南台嫡系正派。清光绪年间，衡阳人淡云和尚与其徒弟见新老南台寺真伪难辨，争利于禅林，有辱佛门，便下决心重振南台正宗。清光绪十六年(1890年)，他找到了南台寺旧址，募捐一万八千余贯于清光绪二十八年(1902年)开始动工，历时四年，到1905年将南台寺重新建成。新建的寺宇规模宏大，超过历代所建的规模。新中国成立以后，南台寺仍然是南岳僧侣农、禅并举的重点寺院。1982年，南台寺被国务院批准为全国重点开放寺庙。
现在的南台寺有4部分，山门挂有「古南台寺」额;二进为弥陀殿,里面有欢喜佛像,坦腹露胸,满脸笑容;正门上有「南台禅寺」门额:进为佛殿,有塑像饰龛；四进为法堂、祖堂、云水堂。两厢各有斋堂禅堂、客房等。寺中大小房舍共一百余间。
南台寺四周绿荫蔽日，古木森茂，寺前有一片落叶水杉林。水杉树高达20余米，直插云天，羽状针叶，树影婆娑。南台寺有一条小路通往南岳古镇，途中经过一个大石坡，石坡间有石磴数百级，在岩石上好像天梯架于岩壁上，故名天生磴。大石坡旁边有一块石头，名叫金牛石，相传上面印有金牛足迹。明正德十年(1515年)秋天，夏用在金牛石上刻了一首诗云:「手招黄鹤来，脚踏金牛背。尘世无人知，白云久相待。」
