延祐初年，永嘉有个叫滕穆的书生，二十六岁年纪，生得眉目如画，风度翩翩，更难得写得一手好诗，在当地颇有名气。他早就听说临安山水甲天下，一直想去游玩。正赶上甲寅年朝廷开科取士，他便带着乡试的荐书启程赴考。
到了临安，他在涌金门外租了间屋子住下。从此每日流连于南北二山和西湖边的古刹之间，灵隐寺的晨钟、天竺寺的暮鼓、净慈寺的佛号、宝石山的霞光，还有玉泉的游鱼、虎跑的甘泉、天龙的飞瀑、灵鹫的云雾，连石屋洞的幽深、冷泉亭的清冽都让他驻足忘返。七月中旬那晚，他在曲院赏荷，醉意朦胧间索性宿在湖上，小船就泊在雷峰塔下。
那夜的月光亮得能看清荷叶上的露珠，荷香混着酒气萦绕不散。忽听得湖面有大鱼跃水，岸边宿鸟惊飞。滕生醉得睡不着，披衣起身沿着堤岸散步。走到聚景园时，见园门半掩，便信步而入。这时距宋朝灭亡已四十年，园中会芳殿的雕梁、清辉阁的朱栏、翠光亭的琉璃瓦早已坍塌，唯独瑶津西轩还孤零零立着。他靠在轩下栏杆歇脚，忽然看见个云鬓松挽的美人带着侍女从月洞门进来，衣袂飘飘宛如画中仙。他屏住呼吸躲在暗处，只听那美人轻叹："湖山依旧，可人间已换了模样。"走到太湖石边，她抚着斑驳的石纹吟道：
"湖上园林好，重来忆旧游......"
滕生本是风流性子，见这美人已心神荡漾，再听她诗中满是前朝旧事，忍不住在轩下接了下阕。那美人竟不惊慌，只微微一笑："早知道郎君在此，特来相寻。"原来她是理宗朝的宫女卫芳华，二十三岁就香消玉殒，葬在这园子边上。今夜去演福寺探望贾贵妃，回来迟了才遇上他。
说话间侍女翘翘已铺开紫绒毯，摆上白玉酒壶、碧琉璃杯。酒过三巡，美人不让唱柳永的旧词，自己填了首《木兰花慢》。唱到"废港芙渠滴露，断堤杨柳垂烟"时，泪珠儿扑簌簌落在罗衫上。滕生正想安慰，她却突然起身行礼："若蒙不弃，愿效仿邹衍吹律，让幽谷重现春光。"原来是把他的续诗当了定情之约。待到月影西斜，两人相携入轩，竟与生人无异。
天蒙蒙亮时，美人含泪告别。滕生白天去园边查看，果然找着卫芳华的墓碑，旁边小土堆就是翘翘的葬处。当晚再去西轩，美人早等在月下："妾身只能夜现，过几日才能昼夜相伴。"此后夜夜相会，半月后竟能白日现身。滕生带她回寓所，对外说是杭州娶的媳妇。这鬼娘子侍奉公婆恭谨，持家井井有条，连邻居都夸滕生好福气。
转眼三年过去，又到乡试时节。卫芳华突然说要同去临安："想看看翘翘。"船到钱塘那日正是七月十五，美人拉着滕生重游聚景园。翘翘在园门口迎着就哭："娘子只顾快活，忘了旧居么？"三人刚在西轩坐定，美人突然落泪："今夜缘尽该别了。"见滕生不信，她取下玉指环系在他衣带上："他日见此，莫忘今夜。"寺钟敲响时，她一步三回头地消失在晨雾里，只剩堤上柳枝还在轻轻摇晃。
第二天一大早，他备好美酒佳肴，在墓前烧了纸钱，含着泪写了一篇祭文：
"你啊，生来就这般美好，像天上的仙子下凡。那模样，比花儿还娇艳，比美玉还温润。得意时住在金屋华堂，落魄了却埋在这荒郊野坟。孤零零伴着松树楸树，整日里听野狐野兔奔窜。看那落花随流水，断云伴残雨，这乱世里故国无主，叫人怎不心酸？时光如白驹过隙，日月似车轮飞转。可我知道，你的精魂不会消散。不必学那方士招魂，你自会踏着月光归来——我想见你穿着金线绣蝶的罗裙，戴着叮咚作响的玉佩，浑身散发着兰草的芬芳。本想着与你白头偕老，谁料竟阴阳两隔！如今你怕是穿着凌波袜去赴王母的蟠桃宴了吧？我伸手却摸不到你，呼唤也听不见回音。春风院里杨柳空锁，夜雨打落梨花紧闭院门。这恩情断了，天也灰蒙蒙的；哀怨结成，云都昏沉沉的。你的声音容貌再也寻不见，只留我满心乱麻。今日含悲祭奠，望你能感知我这片心意。唉！请享用这些祭品吧。"
自那以后，他再也没见过那女子。书生独自住在客栈里，像丢了魂似的。眼看考期临近，却连考场大门都不想进，最后垂头丧气回了老家。亲戚们追问缘由，他才把这段奇遇说出来，众人听了都唏嘘不已。后来这书生终身未娶，最后进了雁荡山采药，再也没回来。
延祐初，永嘉滕生名穆，年二十六，美风调，善吟咏，为众所推許。素闻临安山水之胜，思一游焉。甲寅岁，科举之詔兴，遂以乡书赴荐。至则侨居涌金门外，无日不往于南北二山及湖上诸刹，灵隐、天竺、净慈、宝石之类，以至玉泉、虎跑、天龙、灵鹫。石屋之洞，冷泉之亭，幽涧深林，悬崖绝壁，足迹殆将遍焉。七月之望，于曲院赏莲，因而宿湖，泊雷峰塔下。
是夜，月色如昼，荷香满身，时闻大鱼跳掷于波间，宿鸟飞鸣于岸际。生已大醉，寝不能寐，披襟而起，绕堤观望。行至聚景园，信步而入。时宋亡已四十年，园中台馆，如会芳殿、清辉阁、翠光亭皆已颓毁。惟瑶津西轩岿然然独存。生至轩下，倚栏少憩。俄见一美人先行，一侍女随之，自外而入。风鬟雾鬓，绰约多姿，望之殊若神仙。生于轩下屏息以观其所为。美人言曰：“湖山如故，风景不殊，但时移世换，令人有《黍离》之悲尔！”行至园北太湖石畔，遂咏诗曰：
湖上园林好，重来忆旧游。
征歌调《玉树》，阅舞按《梁州》。
径狭花迎辇，池深柳拂舟。
昔人皆已殁，谁与话风流！
生放逸者，初见其貌，已不能定情。及闻此作，技痒不可复禁，即于轩下续吟曰：
湖上园亭好，相逢绝代人。
嫦娥辞月殿，织女下天津。
未会心中意，浑疑梦里身。
愿吹邹子律，幽谷发阳春。
吟已。趋出赴之。美人亦不惊讶，但徐言曰：“固知郎君在此，特来寻访耳。”生问其姓名，美人曰：“妾弃人间已久，欲自陈叙，诚恐惊动郎君。”生闻此言，审其为鬼，亦无所惧。固问之，乃曰：“芳华姓卫，故宋理宗朝宫人也。年二十三而殁，殡于此园之侧。今晚因往演福访贾贵妃，蒙延久坐，不觉归迟，致令郎君于此久待。”即命侍女曰：“翘翘，可于舍中取裀席酒果来，今夜月色如此，郎君又至，不可虚度，可便于此赏月也。”翘翘应命而去。须臾，携紫氍毹，设白玉碾花樽，碧琉璃盏，醪醴馨香，非世所有，与生笑谑笑咏，词旨清婉。复命翘翘歌以侑酒。翘翘请歌柳耆卿《望海潮》词，美人曰：“对新人不宜歌旧曲。”即于席上自制《木兰花慢》一阕，令翘翘歌之曰：
记前朝旧事，曾此地，会神仙。向月砌云阶，重携翠袖，来拾花钿。繁华总随流水，叹一场春梦杳难圆。废港芙渠滴露，断堤杨柳垂烟。两峰南北只依然，辇路草芊芊。恨别馆离宫，烟销凤盖，波浸龙船。平时银屏金屋，对漆灯无焰夜如年。落日牛羊垅上，西风燕雀林边。
歌竟，美人潜然垂泪，生以言尉解，仍微词挑之，以观其意。即起谢曰：“殂谢之人，久为尘土，若得奉侍巾栉，虽死不朽。且郎君适间诗句，固已许之矣。愿吹邹子之律，而一发幽谷之春也。”生曰：“向者之诗，率口而成，实本无意，岂料便为语谶。”良久，月隐西垣，河倾东岭，即命翘翘撤席。美人曰：“敝居僻陋，非郎君之所处，只此西轩可也。”遂携手而入，假寝轩下。交会之事，一如人间。将旦，挥涕而别。
至昼，往访于园侧，果有宋宫人卫芳华之墓。墓左一小丘，即翘翘瘗也。生感叹逾时。迨暮，又赴西轩，则美人已先至矣。迎谓生曰：“日间感君相访，然而妾止卜其夜，未卜其昼，故不敢奉见。数日之后，当得无间矣。”自是，无夕而不会。经旬之后，白昼亦见。生遂携归所寓安焉。已而生下第东归，美人愿随之去。生问：“翘翘何以不从？”曰：“妾既奉侍君子，旧宅无人，留其看守耳。”生与之同回乡里，见亲识，绐之曰：“娶于杭郡之良家。”众见其举止温柔，言词慧利，信且悦之。美人处生之室，奉长上以礼，待婢仆以恩，左右邻里，俱得其欢心。且又勤于治家，洁于守己，虽中门之外，未尝轻出。众咸贺生得内助。
荏苒三岁，当丁巳年之初秋，生又治装赴浙省乡试。行有日矣，美人请于生曰：“临安，妾乡也。从君至此，已阅三秋，今愿得偕行，以顾视翘翘。”生许诺，遂赁舟同载，直抵钱塘，僦屋居焉。至之明日，适值七月之望，美人谓生曰：“三年前曾于此夕与君相会，今适当其期，欲与君同赴聚景，再续旧游可乎？”生如其言，载酒而往。
至晚，月上东垣，莲开南浦，露柳烟篁，动摇堤岸，宛然若昔时之景。行至园前，则翘翘迎拜于路首曰：“娘子陪侍郎君，遨游城郭，首尾三年，已极人间之欢，独不记念旧居乎？”三人入园，同至西轩而坐。美人忽涕泪而告生曰：“感君不弃，侍奉房帷，未遂深欢，又当永别。”生曰：“何故？”对曰：“妾本幽阴之质，久戚阳明之世，甚非所宜。特以与君有夙世之缘，故冒犯条律以相从耳。今而缘尽，自当奉辞。”生惊问曰：“然则何时？”对曰：“止在今夕耳。”生凄惶不忍。美人曰：“妾非不欲终事君子，永奉欢娱。然而程命有限，不可违越。若更迟留，须当获戾。非止有损于妾，亦将不利于君。岂不见越娘之事乎？”生意稍悟，然亦悲伤感怆，彻晓不寐。及山寺钟鸣，水村鸡唱，急起与生为别，解所御玉指环系于生之衣带，曰：“异日见此，无忘旧情。”遂分袂而去，然犹频频而顾，良久始灭。生大恸而返。
翌日具肴醴，焚镪楮于墓下，作文以吊祭之曰：
惟灵生而淑美，出类超群。禀奇姿于仙圣，钟秀气于乾坤。粲然如花之丽，粹然如玉之温。达则天上之金屋，穷则路左之荒坟。托松楸而共处，对狐兔之群奔。落花流水，断雨残云，中原多事，故国无君。抚光阴之过隙，视日月之奔轮。然而精灵不泯，性识长存。不必仗少翁之奇术，自能返倩女之芳魂。玉匣骖鸾之扇，金泥簇蝶之裙。声泠泠兮环珮，香蔼蔼兮兰荪。方欲同欢而偕老，奈何既合而复分！步洛妃凌波之袜，赴王母瑶池之樽。即之而无所睹，扣之而不复闻。怅后会之莫续，伤前事之谁论。锁杨柳春风之院，闭梨花夜雨之门。恩情断兮天漠漠，哀怨结兮云昏昏。音容杳而靡接，心绪乱而纷纭。谨含哀而奉吊，庶有感于斯文。呜呼哀哉，尚飨！
从此遂绝矣。生独居旅邸，如丧配耦。试期既迫，亦无心入院，惆怅而归。亲党问其故，始具述之，众咸叹异。生后终身不娶，入雁荡山采药，遂不复还。