为了促进学院数学学科发展，提升学科水平，在王玉文教授倡导下，数学与系统科学研究所于1997年3月成立。由刚从美国留学归来的陈述涛教授担任首任所长。2002年10月，由东北师范大学引进的张永正教授任第二任所长。2006年3月, 省杰出青年基金获得者刘文德教授任第三任所长，濮安山教授任副所长。2020年4月由省杰出青年基金获得者穆强教授任第四任所长，邓世文教授任副所长。

数学与系统科学研究所属于基础型研究所，目前主要有李理论、优化方法与智能信息处理两个研究方向。历经二十余年的发展历程，研究所在数学科学学院的科研工作、学科建设、人才的引进与稳定等方面起到极其重要的作用。研究所组织承办近10次国际国内大型学术会议, 邀请国际著名学者讲学近100余人次，组织众多小型学术讨论班，院内系内学术报告。近5年研究所主要成员主持国家自然科学基金项目6项、黑龙江省杰出青年科学基金1项、普通高校新世纪优秀人才培养计划、黑龙江省科学技术（自然科学）三等奖2项，省自然科学基金项目5项。发表SCI检索的学术论文50余篇，发表在国际著名学术刊物，如《Journal of Algebra》 、 《J. Pure Appl. Algebra》《IEEE T. SIGNAL. PROCES》、《数学学报》等。