赣州濂溪书院，创建于宋朝嘉祐年间（1056—1063），院址设在水东玉虚观边（今水东小学内），是周敦颐（字濂溪）任虔州通判时与程颢、程颐等弟子讲学之处。元朝末年书院毁于战争。

明洪武四年（1371年），赣县知县崔天赐重建。明正德十二年（1517年），王阳明主政赣南，仰慕理学祖师爷周敦颐，再次重建濂溪书院，并集四方学者，招收徒众，在书院内讲授理学。

王阳明主政赣南期间，在赣州先后修复了六所书院，其中义泉、正蒙、富安、镇宁、龙池五所书院为社学性质，以教化民俗为主，而濂溪书院则以传播其心学为要，并在此教授弟子。期间，刊刻古本《大学》儒学经典，编撰《大学古本序》《大学古本傍释》《朱子晚年定论》《训蒙大意示教读刘伯颂等》等，亲自讲学，阐述心学之要。

据《阳明先生年谱》记载，有一日，王阳明取得大捷，特意设宴款待诸生，在宴席上说：“始吾登堂，每有赏罚，不敢肆，常恐有愧诸君。比与诸君相对久之，尚觉前此赏罚犹未也，于是思求其过以改之。直至登堂行事，与诸君相对时无少增损，方始心安。此即诸君之助，固不必事事烦口齿为也。”据此可以看出，王阳明在面对诸生时，始终抱持推心置腹的态度，并且以身作则，让诸生切记“反省自慎”。

王阳明在赣州大力兴办社学，颁行“社会教条”、建“旌奖节妇”碑祠等。他“立法定制，令赣属各县俱立社学，以宣教风，城中立五社学：东曰义尔书院，南曰蒙正书院，西曰富安书院，又西曰镇宁书院，北曰龙池书院，选生儒行义表俗者，立为教读……教之歌诗习礼，申以孝悌，导之礼让，未期月而民心变，革奸轨而化善良”。他要求各县治、地方“约长”和“里长”等，必须“延师设教”，办好学校，传授诗文和仁、义、礼、智、德、让；要求教师应以国为重，鞠躬尽瘁于教学，使“乡里子弟，不但勤劳于诗礼章句之间，尤在效力于德行心术之本，务使礼让日新，风俗日美，庶不负有司作兴之意，与士民趋向之心”。形成“天下犹一家，中国犹一人”，达到“家齐国治而天下平”的目的。