天水有个叫赵源的年轻人，从小没了爹娘，也没娶媳妇。延祐年间，他游学到钱塘，在西湖葛岭上租了间屋子住下，隔壁就是宋朝贾似道的旧宅。这天傍晚，赵源正倚着门发呆，忽然看见个穿绿衣裳、扎双鬟的姑娘从东边走来，约莫十五六岁，虽没浓妆艳抹，却生得格外标致。赵源看得眼睛都直了。
第二天出门，又碰见这姑娘。连着好几天，她总在日落时分出现。赵源忍不住打趣："姑娘家住哪儿啊？怎么天天往这儿跑？"绿衣姑娘抿嘴一笑，福了福身子："咱们本是邻居，只是公子不认得罢了。"赵源试着搭讪，姑娘竟爽快应承，当晚就留宿在他屋里。两人如胶似漆，天亮姑娘才走，夜里又来。这么过了一个多月，赵源问她姓名住处，姑娘总推说："公子得着美人就是了，何必刨根问底？"逼得急了，才道："我常穿绿衣，叫我绿衣人便是。"赵源猜她是大户人家偷跑出来的小妾，怕走漏风声，也就不再追问。
有天赵源喝了酒，指着她衣裳开玩笑："这可真是'绿衣黄裳'啊！"姑娘突然变了脸色，连着好几晚都没露面。再来时，赵源连连赔不是，姑娘才红着眼圈说："本想与公子白头偕老，谁知您把我当奴婢看待..."说着突然哽咽，"其实咱们早该相识的。"见赵源一脸茫然，她惨然一笑："我本不是阳世之人..."
原来这姑娘是南宋贾似道的侍女，当年因与府上煎茶小厮私通被处死，那小厮正是赵源的前世。两人在断桥下丧命，如今阴差阳错再续前缘。从此姑娘再不避讳，把贾府旧事一桩桩讲给赵源听：有回贾似道为姬妾一句玩笑就砍了她的头；还有次因学生写诗嘲讽他贩盐，就把人抓进大牢。最奇的是有个破衣道士来化缘，在碗底留了句"收花结子在漳州"，后来贾似道果然死在漳州木绵庵。
转眼三年将尽，姑娘突然病倒。临去时紧紧攥着赵源的手说："我这缕幽魂能伴君三载，已是上天垂怜..."话音未落，面朝墙壁再无声息。下葬时棺材轻得出奇，打开只见衣冠首饰。赵源从此看破红尘，在灵隐寺出了家，青灯古佛了却余生。
天水赵源，早丧父母，未有妻室。延祐间，游学至于钱塘，侨居西湖葛岭之上，其侧即宋贾秋壑旧宅也。源独居无聊，尝日晚徙倚门外，见一女子，从东来，绿衣双鬟，年可十五六，虽不盛妆浓饰，而姿色过人，源注目久之。明日出门，又见，如此凡数度，日晚辄来。源戏问之曰：“家居何处，暮暮来此？”女笑而拜曰：“儿家与君为邻，君自不识耳。”源试挑之，女欣然而应，因遂留宿，甚相亲昵。明旦，辞去，夜则复来。如此凡月余，情爱甚至。源问其姓氏居址，女曰：“君但得美妇而已，何用强知。”问之不已，则曰：“儿常衣绿，但呼我为绿衣人可矣。”终不告以居址所在。源意其为巨室妾媵，夜出私奔，或恐事迹彰闻，故不肯言耳，信之不疑，宠念转密。
一夕，源被酒，戏指其衣曰：“此真可谓‘绿兮衣兮，绿衣黄裳者’也。”女有惭色，数夕不至。及再来，源叩之，乃曰：“本欲相与偕老，奈何以婢妾待之，令人忸怩而不安，故数日不敢侍君之侧。然君已知矣，今不复隐，请得备言之。儿与君，旧相识也，今非至情相感，莫能及此。”源问其故，女惨然曰：“得无相难乎？儿实非今世人，亦非有祸于君者，盖冥数当然，夙缘未尽耳。”源大惊曰：“愿闻其详。”女曰：“儿故宋秋壑平章之侍女也。本临安良家子，少善弈棋，年十五，以棋童入侍，每秋壑朝回，宴坐半闲堂，必召儿侍弈，备见宠爱。是时君为其家苍头，职主煎茶，每因供进茶瓯，得至后堂。君时年少，美姿容，儿见而慕之，尝以绣罗钱箧，乘暗投君。君亦以玳瑁脂盒为赠，彼此虽各有意，而内外严密，莫能得其便。后为同辈所觉，谗于秋壑，遂与君同赐死于西湖断桥之下。君今已再世为人，而儿犹在鬼箓，得非命欤？”言讫，呜咽泣下。源亦为之动容。久之，乃曰：“审若是，则吾与汝乃再世因缘也，当更加亲爱，以偿畴昔之愿。”自是遂留宿源舍，不复更去。源素不善奕，教之弈，尽传其妙，凡平日以棋称者，皆不能敌也。
每说秋壑旧事，其所目击者，历历甚详。尝言：秋壑一日倚楼闲望，诸姬皆侍，适二人乌巾素服，乘小舟由湖登岸。一姬曰：“美哉，二少年！”秋壑曰：“汝愿事之耶？当令纳聘。”姬笑而无言。逾时，令人捧一盒，呼诸姬至前曰：“适为某姬纳聘。”启视之，则姬之首也，诸姬皆战栗而退。又尝贩盐数百艘至都市货之。太学有诗曰：
昨夜江头涌碧波，满船都载相公鹾；
虽然要作调羹用，未必调羹用许多！
秋壑闻之，遂以士人付狱，论以诽谤罪。又尝于浙西行公田法，民受其苦，或题诗于路左云：
襄阳累岁困孤城，豢养湖山不出征。
不识咽喉形势地，公田枉自害苍生。
秋壑见之，捕得，遭远窜。又尝斋云水千人，其数已足，末有一道士，衣裾褴褛，至门求斋。主者以数足，不肯引入，道士坚求不去，不得已于门侧斋焉。斋罢，覆其钵于案而去，众悉力举之，不动。启于秋壑，自往举之，乃有诗二句云：“得好休时便好休，收花结子在漳州。”始知真仙降临而不识也。然终不喻“漳州”之意，嗟乎！孰知有漳州木绵庵之厄也！又尝有艄人泊舟苏堤，时方盛暑，卧于舟尾，终夜不寐，见三人长不盈尺，集于沙际，一曰：“张公至矣，如之奈何？”一曰：“贾平章非仁者，决不相恕！”一曰：“我则已矣，公等及见其败也！”相与哭入水中。次日，渔者张公获一鳖，径二尺余，纳之府第。不三年而祸作。盖物亦先知，数而不可逃也。源曰：“吾今日与汝相遇，抑岂非数乎？”女曰：“是诚不妄矣！”源曰：“汝之精气，能久存于世耶？”女曰：“数至则散矣。”源曰：“然则何时？”女曰：“三年耳。”源固未之信。
及期，卧病不起。源为之迎医，女不欲，曰：“曩固已与君言矣，因缘之契，夫妇之情，尽于此矣。”即以手握源臂，而与之诀曰：“儿以幽阴之质，得事君子，荷蒙不弃，周旋许时。往者一念之私，俱陷不测之祸，然而海枯石烂，此恨难消，地老天荒，此情不泯！今幸得续前生之好，践往世之盟，三载于兹，志愿已足，请从此辞，毋更以为念也！”言讫，面壁而卧，呼之不应矣。源大伤恸，为治棺榇而殓之。将葬，怪其柩甚轻，启而视之，惟衣衾钗珥在耳。乃虚葬于北山之麓。源感其情，不复再娶，投灵隐寺出家为僧，终其身云。