赣州濂溪书院创建于宋朝嘉祐年间（1056~1063），院址设在水东玉虚观边（今水东小学内），是周敦颐（字濂溪）任虔州通判时与程颢、程颐等弟子讲学之处。

元朝末年书院毁于战争。明洪武四年（1371）知县崔天锡重建，弘治十三年（1500）知府何光将书院改建于郁孤台下，崇祯十三年（1640）知县陈履忠将书院迁建于光孝寺右边（今赣一中内），改名为廉泉书院。清顺治十年（1653），巡抚南赣都御史刘武元将廉泉书院复名为濂溪书院，并在大堂设周濂溪和二程像。招收府属十二县生徒肄业其中。其后多有扩建，有东西讲堂、濂溪祠、夜话亭、斋舍等建筑。

乾隆十七年（1752），濂溪书院成为吉南赣宁三府一州官办书院，清末为吉南赣汀道道立书院。光绪二十四年（1898），在濂溪书院内创办致用中学堂，这是赣南创办新学的先声。光绪二十八（1902），赣南巡道刘心源和地方绅士刘心源和地方绅士刘景熙将整个濂溪书院改办为虔南师范。此后，先后为吉南赣宁师范学堂、赣南宁师范学堂、省立第二师范学校、省立赣县中学、省立第三中学。1933年8月起，复名省立赣县中学，成为当时赣南最高学府。解放后，改名为江西省立赣州中学。1953年，改名江西省赣州市第一中学至今。濂溪书院自创建以来，三易其地，已有900多年的历史，其中夜话亭现保存在赣州市第一中学院内。故水东可称为赣南教育的发祥地。

正德十三年（1518），王阳明征南赣盗寇，四方学者辐辏，始寓射圃，至不能容，是年九月乃修濂溪书院居之。