宋徽宗宣和元年（1119年）汴京水患，民不聊生，国史编修李纲上书为民请命，遭到贬谪，来到沙县。

沙县辖下的栟榈村，是左正言邓肃故里。邓肃汴京求学时，与李纲结为莫逆之交，因赋诗反对“花石纲”，被太学除名归里。

邓肃归故里，李纲谪沙县，旧友相会，演绎一段栟榈缘，遂成佳话。

邓肃于故里创办葛里书院，自号栟桐居士。闻李纲大人谪放沙县，急盼一见，便去信相邀：“惊悉大人遭谗，不胜感慨，然栟榈水石异趣，堪值一游，先生不妨幸临，弟子略备水酒为先生洗尘矣！”李纲欣然赴约。故知幸会，栟榈为之增色。但见：栟榈翠茅檐，修竹绿幽泉。白云入山涧，鹧鸪鸣龟岩。好一处水石异趣佳境，栟榈村真乃世外桃源，“邓贤弟不枉此生矣！”走进邓肃创办的葛里书院，见有陶渊明《桃花源序》碑刻。“桃花源妙则妙矣，然晚生未敢有负大人教诲也！”邓肃引李纲步入书院厅堂，《岳阳楼记》条幅悬挂其中，这是李纲送邓肃还乡的墨宝，邓肃高悬于此，得以日日与弟子同勉。

“不以物喜，不以己悲。居庙堂之高，则忧其民，处江湖之远，则忧其君。是进亦忧，退亦忧。然则何时而乐耶？其必曰‘先天下之忧而忧，后天下之乐而乐’欤！噫！微斯人，吾谁与归！”

李纲身后的书院学子，齐诵《岳阳楼记》以迎先生，令李纲顿生感慨：“吾谁与归？惟邓肃贤弟也！”一篇《岳阳楼记》，一声忧国忧民之心。

李纲、邓肃携游栟榈，寄情山水。葛里涧品泉，修竹湾赏竹。栟榈山探幽，百丈岩观瀑……此一段栟榈缘，全写在了李纲游栟榈山的那首七律里：

栟榈百里远沙溪，水石称为小武夷。列岫笼烟红削玉，澄潭浸月碧生漪。猿猱饮水联修臂，樛木连云拥老枝。天下幽奇多僻壤，真疑造化恶人知。

因了李纲的诗，栟榈山便有“小武夷”的美称。明万历三十三年（1605年）邑人陈源湛解官归里，仰慕李纲、邓肃之名，便捐资修建楼台亭阁，开辟桃源洞，并于峭壁题诗刻字，也算圆了李纲的“桃源”之梦。至明祟祯三年（1630年）徐霞客游桃源洞“一线天”，赞其“窄”、“逼”天下第一，桃源洞便由此名噪于世。