河南省图书馆是我国建馆的公共图书馆之一。1908年7月6日，河南提学使孔祥霖呈奏抚院请创建“河南图书馆”，7月13日获准。孔祥霖自任（馆长），搜罗大梁、明道书院及学务公所旧藏共计1600种，43000余卷，以开封龙湖南岸二曾祠侧之许公祠为馆址，于1909年2月27（宣统元年农历2月初8日）开馆，定名为“河南图书馆”。1915年，以教育部“图书馆令”改为河南省立图书馆。1928年，奉省政府令改为河南省图书馆。抗日战争期间河南省图书馆迁至南阳、析川等地，1946年迁回开封。1949年3月，河南省图书馆临时归并到中原大学（即河南大学）图书馆，1950年元月，恢复建制，同年10月，改名为“河南省立图书馆”。1953年，又改名为“河南省图书馆”。 1957年5月20日，河南省图书馆由开封迁往省会郑州纬二路省人民委员会礼堂。同年10月在优胜北路建设新馆舍，次年7月建成迁入，建筑面积5000余平方米。1985年在嵩山南路与伊河路交叉口西北选址建设新馆， 1989年建成并交付使用，新馆总建筑面积2.95万平方米。

河南省图书馆经历了百年风雨沧桑，几多反复，曲折发展。新中国成立后，特别是改革开放以来，河南省图书馆得到了发展，已初步建成为综合性、多功能的现代化图书馆。

河南省图书馆积极开展丰富多彩的读者活动和培训活动。馆内设有17个对外服务窗口，阅览座席1200多个，设有河南省图书馆网站和电子阅览室，年到馆读者达百万人次。还在全省开设30余处外借点，进行图书流通服务。随着远程访问系统的开通，全省各市、县（市、区）图书馆均可共享省馆数字化资源。2002年全国文化信息资源共享工程起步建设，9月建成河南省分中心平台，拥有数字化资源15TB，以IPTV传输、接收模式为主，服务范围覆盖全省4．8万个行政村，形成了基层文化信息资源服务网络。业务窗口实行365天开放。积极开发馆藏资源，先后创办了《港澳台报刊文摘》、《经济文摘》、《决策参考》等二三次文献。邀请国内、省内专家、学者举办“世纪论坛”公益讲座报告会。 2011年5月，河南省图书馆将公益讲座制度化，更名为“豫图讲坛”，在每周周日上午定期举办。截止到2013年底，“豫图讲坛”已连续举办153期。多种延伸服务活动深入开展，公共文化服务能力与水平不断提高。

注重自身业务研究和队伍建设，学术成果不断涌现。《河南图书馆学刊》已编辑出版160多期，成为国内图书馆学术交流的重要阵地。从2002年开始，先后编纂出版了“图书馆治学文集”等系列丛书。2009年是河南省图书馆建馆100周年，编纂出版了《河南省图书馆志》、《河南省图书馆百年》、《河南省图书馆同仁文集》、《河南省市、县图书馆古籍善本联合目录》、《河南省图书馆古籍善本书目》、《旧时河南县级图书馆寻踪》、《文献遗产保护技术理论与实践》、《加拿大国家图书档案馆珍藏》等。

截止2013年底，河南省图书馆累计藏书总量达到329多万册（件），其中古籍50万多册。设有借阅部、报刊部、古籍部等10个业务部门，以及综合办公室等5个职能部门。