南嶽衡山禪宗的第一勝跡當數南台寺，該寺位於湖南省衡陽市南嶽區瑞應峰下，海拔600余米，號稱「天下法源」，距福嚴寺不到2千米。該寺興建於梁天監年間(502-519年)。陳光大元年(567年)海印禪師曾經在這裏修習禪法。唐天寶年間，禪宗七祖弟子希遷在行思禪師處學有所成之後,輾轉到此。希遷將該寺定名為南台寺。
因南台寺的附近有一警石，平坦如砥，希遷便於其石上結庵，傳授南宗慧能的禪法。當時南嶽懷讓等僧侶都很尊重他，他的影響日益廣泛、來學習禪法者也日漸增加。不久，南台寺便成為南宗禪的一大道場，民眾紛紛趕來皈依。希遷弟子有道悟、惟嚴等21人，後來逐漸分化為雲門、曹洞、法眼三家。因此，南台寺可謂這三家禪宗的真正祖庭。
南台寺自唐代建立後，曾經圮廢，直到宋代乾道元年(1165年)才被重新修繕。至明朝初年，寺院荒廢。明弘治年間，元礙和尚重建清初，寺院再次圮廢。有些僧徒趁機分移寺產，在山下嶽廟旁各建小寺，自稱南台嫡系正派。清光緒年間，衡陽人淡雲和尚與其徒弟見新老南台寺真偽難辨，爭利於禪林，有辱佛門，便下決心重振南台正宗。清光緒十六年(1890年)，他找到了南台寺舊址，募捐一萬八千余貫於清光緒二十八年(1902年)開始動工，歷時四年，到1905年將南台寺重新建成。新建的寺宇規模宏大，超過歷代所建的規模。新中國成立以後，南台寺仍然是南嶽僧侶農、禪並舉的重點寺院。1982年，南台寺被國務院批準為全國重點開放寺廟。
現在的南台寺有4部份，山門掛有「古南台寺」額;二進為彌陀殿,裏面有歡喜佛像,坦腹露胸,滿臉笑容;正門上有「南台禪寺」門額:進為佛殿,有塑像飾龕；四進為法堂、祖堂、雲水堂。兩廂各有齋堂禪堂、客房等。寺中大小房舍共一百余間。
南台寺四周綠蔭蔽日，古木森茂，寺前有一片落葉水杉林。水杉樹高達20余米，直插雲天，羽狀針葉，樹影婆娑。南台寺有一條小路通往南嶽古鎮，途中經過一個大石坡，石坡間有石磴數百級，在巖石上好像天梯架於巖壁上，故名天生磴。大石坡旁邊有一塊石頭，名叫金牛石，相傳上面印有金牛足跡。明正德十年(1515年)秋天，夏用在金牛石上刻了一首詩雲:「手招黃鶴來，腳踏金牛背。塵世無人知，白雲久相待。」
