榆次城隍庙在市区东大街中段北侧。据《榆次县志》载有明代巩昌府知府金中夫(榆次人)撰的《城隍庙》一文,可知现存的城隍庙是由原北门内善政坊以东的旧城隍庙拆迁后营建的。旧城隍庙元代至正二十二年(1362)在达鲁花赤帖木儿主持下建造的。宣德六年(1431)榆次县令曹显觉得旧城隍庙狭小简陋、便拆掉就旧庙在现今的地方营建了正殿三间,东西厢房各三间,山门一间。成化十二年(1476)三月,又扩充了庙的范围,把原三间正殿迁到后面约八丈远的地方作为寝殿,并在寝殿前四丈的地方新建了五间显佑殿(正殿).弘治七年(1494),榆次人李选认为庙内殿宇虽然宏大,但原来的厢房相形之下,便显得很不相称,便在东西两侧各建了十四间厢房,弘治十年(1497)榆次人苻吉等主持又于正殿南正中建阁,起名“玄鉴楼”。正德四年(1509),榆次人王嵩主持在玄鉴楼南面修了五间山门,正德六年(1511)全部告成。玄鉴楼被世界历史文化保护基金会评为全球精美的100处古建筑之一。后榆次人左桂原、李引道两人主持在阁北靠阁建筑了乐楼。嘉靖六年(1527)由榆次人孙文质、崔棕于庙门南大道对面建了屏障。
嘉靖十二年(1533),榆次人赵弘、苻产明又于山门外东西两侧跨道建牌坊各一座:东叫“保障”,西叫“昭假”。并在门口竖了两根铁旗杆,门两旁檐内塑神像两尊。乾隆三十九年(1774)于庙西增建了道院和财神庙,民国八年(1919)由赵文允负责给城隍庙做了最后一次维修。
建国后榆次城隍庙曾作为展览馆、图书馆使用。文革期间图书馆约三十万册图书被洗劫一空,1971年城隍庙被榆次胶鞋厂占用,直至1984年国庆迁出,国家拔专款20万元,山西省拔专款10万元,榆次市拔专款10万元,整修城隍庙。
2001年榆次区在修复榆次老城历史街区时,再次对城隍庙进行了维修,恢复了它历史的本来面目。