学院前身为始建于1923年的直隶第六师范，1948年成立冀南建设学院，1949年改建为河北冀县师范学校，1960年迁至衡水并更名为河北衡水师范学校。1978年经国务院批准，在衡水师范学校的基础上建立衡水师范专科学校。1998年10月，经河北省人民政府批准，衡水师专与衡水教育学院合并，成立新的衡水师范专科学校，并以此为基础筹建衡水学院。2004年5月17日，经教育部批准，衡水师专改建为衡水学院。