據元代安定書院燕居堂碑文記載,南宋六年(1246)改建為安定書院。元三十年(1293),湖州道總經理徐實將安定書院遷至甪直西北的官德坊(即三元東府北安定書院新村),擴大書院規模,新建祖宅50間。童淵三年(1335),重修。到明朝初年。宣德初,欽差大臣熊近助浙江,建祠。三十年後,天順元年(1457),在浙江參政的黃宇被改建為書院。從那以後,有許多建設。知府胡承謀於清乾隆二年(1737)重修後,中間有明山堂五間,連安堂五間,東有“景宜齋”,西有“史鷙齋”。七市(即婺城、貴安、德清、武康、長興、安吉、孝豐)生孩子。書院門前有儀門,門外有兩個廣場。東方說“山風起”,西方說“水飛騰”,規模宏大,氣勢磅礴。直到清同治七年(1868),縣令陸新源捐資重建。
安定書院此後幾經變遷,年久失修,大部分建築已經倒塌。最令人遺憾的是,書院裏陳列的許多安定先生的題詞和塑像都不見了。目前只有南郊道場腳下的胡瑗墓供後人憑吊。