1929年湘阴县教育局设立图书室,1930 年并入县民众教育馆,图书室设在县城文庙,全县农村设阅报处800多处。
1937年,图书室因战乱停办。1946年,民众教育馆恢复,图书馆迁至马号坪桑树园和八甲文襄公祠等处。1949年8月湘阴解放,民众教育馆停办,遗留图书不足一千册。1951年7月,湘阴县文化馆建立,在弼时街设立图书室,收藏报刊30余种,并在农村设立图书室1个。到1965年截止,县文化馆藏书达5万册。1966年后,图书室藏书损失达3.8万册,少量重要藏书在文化馆干部的保护下幸免于难。自1970年至1978年,县文化馆图书室因无固定馆舍,先后从先锋路人民俱乐部迁至北正街县人民委员会、社队企业局等处。
1978年6月,县文化馆图书室与文化馆分家,在县北正街社队企业局内设立县图书馆。1979年图书馆随文化馆迁至弼时街大成殿前。1980年元月,图书馆与文化馆在事业经费上正式分开。