霍山县图书馆位于衡山镇西镇南路7号,成立于1978年3月,租房办公。1990年兴建图书馆大楼,面积850平方米。2009年被评为三级图书馆。霍山县图书馆在职职工8人,中级职称1人,助级职称5人,管理员2人,本科以上学历1人,专科以上学历5人。
霍山县图书馆设有成人阅览室、少儿阅览室、采编室、藏书室、报刊阅览室、电子阅览室、多功能厅、档案室。
藏书7万余册,年流通册次6.275万册,订有各类报刊120种。创办少儿周末课堂、暑期青少年爱国主义教育电影放周,家庭读书会、少儿英语网上教学活动、新书推荐活动等服务活动。