据史料记载，南朝时期，山东平原（今德州）居士明僧绍来到栖霞山，当时栖霞山是虎狼毒蛇横行，人迹罕至。明僧绍在此披荆斩棘、结庐隐居20年。刘宋末年，高僧法度禅师在栖霞山讲授“无量寿经”，在法度禅师的影响下，明僧绍舍宅为寺，建栖霞精舍供法度禅师居住，这便是栖霞寺建立的开端。
自栖霞寺开建以来，因南朝王公贵族大多信奉佛法，对栖霞寺大加营造，并且开凿了千佛岩，栖霞寺也成为南朝四百八十寺中的著名寺庙。
梁武帝时期，僧朗师事法度禅师，僧朗善“三论”（百论、中论、十二门论）和华严经。僧朗死后，他的弟子继续主持栖霞寺并弘扬“三论”，栖霞寺因而被视作三论宗的祖庭，僧朗也被视为三论宗的初祖。三论宗因宣扬“一切性空”“诸法性空”，又名“空宗”“法性宗”。对佛祖所说的经教，不做高下优劣之分，主要因众生根性千差万别，所以佛说的法门就有种种不同，这叫随机施教、因病授药。
南朝陈时，陈后主与宠臣江总游历摄山，并赋诗题刻。
隋朝建立后，隋文帝杨坚将自己还未做皇帝时，印度僧人赠送的一包佛舍利分送天下83州建塔供奉,“先送蒋州栖霞寺”，栖霞寺荣登榜首，可见声望之隆。
唐朝时期，唐高祖李渊改栖霞寺为功德寺，增修殿宇49所，此时的栖霞寺为天下名刹，与上东临清灵岩寺、湖北江陵玉泉寺、浙江天台国清寺并称“天下四大丛林”。唐高宗时期，为纪念明僧绍舍宅建寺之功，高宗李治御制明征君碑，又改功德寺为栖霞寺。到了唐朝武宗时期，毁佛灭法，栖霞寺被毁。唐宣宗年间又重新建造。
南唐时期，栖霞寺更名为妙因寺，对栖霞寺又进行了整修，现存栖霞山舍利塔被认为是南唐遗物，就是在此时建造的。
北宋时期，栖霞寺又被更名为普云寺、虎穴寺等。
明朝时期，栖霞寺为金陵名刹，朱元璋敕赐栖霞寺一名一直沿用至今。并且诏赐栖霞寺田地1300亩。
清朝顺治年间又对栖霞寺进行了修葺。乾隆皇帝六下江南，五次驻跸栖霞行宫，栖霞寺也因帝王驾临而增辉添色。
到太平天国时期，栖霞寺惨遭战火，从此衰败不堪。
民国时期，镇江金山寺僧人宗仰法师朝礼九华山，途经栖霞山，此时栖霞寺凋敝不堪，于是宗仰应栖霞寺僧之请住持栖霞，重振佛门，并且得到了孙中山等许多民国要人的资助，栖霞寺又重露生机。今天的栖霞寺就是载民国年间基础上修复的。
