1930年,安乡县教育局设立图书馆,当时馆藏量仅三千余册,定编2人。1939年,图书馆并入民众教育馆。1949年7月,安乡和平解放,民众教育馆改名安乡县文化馆,馆设图书室。
1980年始建新馆,2层12间,建筑面积350平方米,1981年竣工,向社会开放,该馆建了新馆后,图书馆事业迅速发展。至1987年,馆藏图书达7万余册,为1978年建馆时的3 W多;发放借书证3500个(其中成人2081人,少年儿童1419人),年均借阅书刊54672册次。自1981年5月开办少年儿童阅览室以来,由于开展优质服务取得成果,被评为全省少年儿童阅览先进单位和市阅读工作先进单位。为适应图书馆事业发展,1987年元月,县政府决定再建新馆舍。1991年元月八日新馆开始向社会开放。
安乡县图书馆位于潺陵路与长寿巷交叉口东侧,您可以坐车到老阳光大酒店、保险公司等站点,经过该站点的线路有安乡2路、安乡7路、安乡3路;附近标志性建筑有安乡馨华公寓、常德市安乡县育英幼儿园(育忠住宅北)、阳光幼儿园(万寿巷)、潺陵路等;
从1949年至1956年,室藏书量由原民众馆的2千余册增至2万5千册,读者服务工作有很大发展。“文化大革命”中馆藏图书被当作“封、资、修”的黑货烧毁、禁烟,其中5千多册古籍,幸蒙馆内干部特藏保护,才免于一炬。1978年7月,经安乡县委呈报省文化局批准,独立建制,成立安乡县图书馆。建馆之初,没有馆舍,借文化馆约70多平方米的五间房屋,作为藏书室和外借室,开展借阅书刊等活动。