阿贵庙是西部地区最大的红教寺庙,是印度僧莲花生,于清德宗光绪三年所建。阿贵的意思为山洞,因为此处奇洞攀岩,以洞穴为佛殿而得名阿贵庙。由清庭理藩院改名为“宗乘寺”。
阿贵庙为典型藏式风格建筑,藏名为“拉西仁布·嘎定林阿贵”,清廷赐名为“宗乘寺”。莲花生大师曾在此修行、讲法,他的雕像矗立在庙宇之上。民国元年(1912年)蒙藏委员会赐予“满、蒙、藏、汉”四种文字雕刻的“宗乘寺”匾额。
阿贵庙建有大雄宝殿及左右配殿、马头金刚殿等共981间,殿旁有佛塔一座。阿贵庙的大部分殿宇在文革时期被烧毁。现在的大雄宝殿、金刚殿和白塔是后来恢复重建的。大雄宝殿是佛寺中供奉佛祖的大殿,是整座寺庙的核心建筑,也是僧众朝暮集中修持的地方。大雄宝殿中主供奉释迦牟尼佛像,还供有莲花生大师。大雄宝殿的左右为配殿建筑,西侧是金刚殿。寺庙旁有转经筒,来往者可以顺时针转上一圈。
在大殿周围的悬崖峭壁上有5个奇特的天然岩洞,分别是莲花生洞、上乐金刚洞、护法神洞、仙女洞、洪羊洞。每座岩洞都流传着神奇动人的传说。
莲花生洞(阿贵洞):莲花生洞供主神莲花生塑像,喇嘛们设坛、供奉、诵咒灌顶就在这里举行。洞门右侧有一巨大的钟乳石柱,堪称镇洞之宝。洞门外的一块巨石上留有一枚脚印,传说是莲花生驱魔降妖时留下的。
上乐金刚洞:供奉上乐金刚,是藏传佛教密宗本尊神,其像为双尊。上乐金刚有三面脸,每脸三目,十二臂,主臂拥抱明妃金刚亥母,余臂持物,双足踏人。塑像为上乐金刚与明妃金刚亥母相抱。
仙女洞:里有白救度佛母和绿救度佛母塑像,是藏传佛教女神,是观音化身的救苦救难本尊。以上两尊为藏王松赞干布的两位夫人,分别是尼泊尔公主和文成公主,白度母是尼泊尔公主,绿度母是文成公主。度母以颜色区分,以白、绿度母最为常见。此外,洞内还供有21个仙女塑像。
护法神洞:洞里主神为护法神,即迦兰神,是守护寺院神的通称,共有十八神。
洪羊洞:迦楼罗天神的供养处。迦楼罗天神是八部天龙之一(佛教中的八部众是八部天龙的别称,是佛教八类护法天神),是守护佛教的第六天神。一般来说,迦楼罗以人面鸟身、鸟面人身或全鸟身形像出现,华译为金翅鸟。洪羊洞呈弓形,在洞壁上有两个1米见方的洞穴,均用石头镶边,传说里面有焦赞、孟良两尊塑像。两人因盗杨继业尸骨有功,故立塑像供奉。一进洞口几米处分上下两层,上进下出,进里面下台阶,据传台阶下有深洞,由大石板盖着,可是没有人考证过究竟有多深。洞里有红土又称“玉光土”,信徒们往往取而治病,也是蒙医常用的药材之一。
传说莲花生曾到过洛阳和五台山,返回途中,於公元774年(阴历)九月二十二来到阿贵庙。当时这里没有庙宇,只有山洞。传说五个洞中居住着一母所生的5个少女即5个“杭瑞玛”(仙女)。她们在这5个洞里分别於九月二十五招待了莲花生及其随行人员。以后将每年的(阴历)九月二十五,定为迎接莲花生祭神日。次年即公元775年的(阴历)七月初十,莲花生一行离开了阿贵洞,此时四周民众集会欢送莲花生等人,於是又将每年的七月初十定为欢送日。至今阿贵庙每年七月初十,九月二十五的两次大型庙会就是从那时开始的。相传莲花生在此居住9个多月的时间里,把这里的妖魔鬼怪全部用法术镇压下去,还亲手塑起一座2尺5寸高的莲花生像。并说:“你们每当见到这尊塑像就如同见到我一样,一切妖魔不会伤害生灵了,会给当地民众消除灾难”。莲花生等在接受杭瑞玛们的欢送时还说:“我们西方有个'乌日斤杭瑞'地区,你们这个阿贵可叫'亚吉拉,杭瑞玛阿贵'”。“杭瑞玛阿贵”也从此得名。当时在这山沟里还居住着叫柯宝日·达日克的老俩口,有个儿子叫落本赞达日。莲花生对他说:“接收你为徒弟,将密教传授给你并要你传递下去”。洛本赞达日接受了这个旨意。但此教必须“真实”言教,学到咒术才能为百姓除害。于是,洛本赞达日历尽千辛万苦到印度萨齐巴地方学经,经过几年的努力,终于受授了法术,学到了密咒,回到阿贵庙后成了第一个传徒接代的师傅。