劳山脚下的下清宫里，有株耐冬树足有两丈高，树干粗得要几个人才能合抱。旁边还有棵牡丹，比人还高，开花时节那叫一个灿烂，像铺了满地的锦绣。
胶州来的黄生在这儿借住读书。那天他正伏案写字，一抬头，忽然瞧见窗外花丛里站着个白衣姑娘，身影在花枝间若隐若现。他心里直犯嘀咕：这清修的道观里哪来的姑娘？赶忙推门出去看，人影却早没了。打这天起，他总能在窗缝里瞥见那抹白影。这天他干脆猫在树丛里蹲守，没过多久，果然看见那姑娘挽着个穿红裙子的来了。远远望去，真是一对天仙似的人儿。可她们刚走近些，红衣姑娘突然抽身后退："这儿有生人气！"黄生一个箭步窜出来，吓得两人转身就跑。只见衣袖翻飞，裙摆飘飘，风里还留着淡淡的香气。他追过矮墙，哪还有人影？心里反倒更惦记了，顺手在树皮上刻了首诗："相思苦啊守着窗，怕你像那被抢走的无双姑娘，教我上哪儿找去？"
回屋正发呆呢，那白衣姑娘竟自己推门进来了。黄生喜得手足无措，姑娘却抿嘴一笑："方才凶神恶煞像山大王，没想到还是个会写诗的雅人。"黄生忙问她来历，姑娘低头绞着衣带："我叫香玉，本是平康巷的人，被个道士关在这山里......"黄生拍案就要去找道士算账，香玉急忙拉住他："别去！这样反倒好，能和你偷偷相会呢。"黄生又问红衣姑娘是谁，香玉说那是她结拜姐姐绛雪。烛影摇红，等窗外透亮时，香玉急着穿鞋："光顾着说话天都亮了！"临走也和了首诗："春宵总是短，日头上窗棂。愿做梁间燕，早晚一双行。"黄生攥着她手腕舍不得放："你这一走，像隔了千山万水，白天也得常来啊。"
从此香玉果然早晚都来。有回黄生让她带绛雪同来，香玉摇头："我那姐姐性子淡，不像我这般痴缠。"谁知有天夜里香玉哭着进门："咱们缘分尽了！"黄生追问，她只抹着眼泪念："佳人已属沙吒利，义士今无古押衙——当年写的诗竟应验了。"哭到天亮才走。第二天，即墨蓝家来人游山，看中那株白牡丹，连根挖走了。黄生这才明白香玉是花精，悔得捶胸顿足。听说牡丹移到蓝家就枯萎了，他天天跑到原来的花坑前哭，写了五十首《哭花》诗。
这天他哭完往回走，远远看见绛雪也在花坑边抹泪。黄生过去拉她袖子，两人对着空土坑又哭一场。回屋后绛雪叹气："我们草木姊妹最怕挪根，香玉这回是真散了魂魄。早知你这般重情义......"黄生急问："那你是什么花？我这就把你移回家养着！"绛雪连连摆手："故土难离，香玉都没躲过劫数，何况我呢？"后来黄生每次拉着她认花，她都捂嘴直笑。
腊月里黄生回家过年。开春做了个怪梦，梦见绛雪慌慌张张来说："快救我！工匠要砍耐冬树了！"他连夜赶回下清宫，果然见道士正要砍树建房。当天夜里绛雪来道谢，黄生举着艾草吓唬她："再不老实交代，我就用艾火烤你！"绛雪边躲边笑："早知道你要使坏！"
又过了些日子，黄生正独坐伤怀，绛雪忽然笑着进门："花神被你的痴心感动，要让香玉回来了！"黄生追问日子，她却卖关子。等了两天不见动静，黄生急得跑去摇那株最大的耐冬树，又是拍树干又是喊名字。回屋刚要点艾草，绛雪冲进来抢过艾条："再闹真不理你了！"正说着，门帘一掀——香玉真回来了！黄生一手拉一个，却觉得香玉的手像握着一团雾。香玉泪珠儿直掉："如今我是花魂，你们只当是场梦罢。"绛雪甩开手笑道："可算来了！再不来你相公要把我折腾死了。"说着化作一阵风去了。烛光里，黄生盯着香玉看不够，可她的身影越来越淡，像要融化在晨光里......
香玉依旧像从前那样温柔浅笑，可每当依偎在黄生怀里时，那身子轻飘飘的，仿佛只是个影子。黄生心里发闷，香玉也低头绞着衣袖，忽然抬头说："你用白蔹粉掺点儿硫黄，每天浇我一杯清水，等到明年今日，我定会报答你的恩情。"说完就消失了。
第二天黄生跑到花圃里看，那株牡丹果然冒出了嫩芽。他赶紧搭起雕花栏杆，日日松土施肥。香玉再来时，眼里噙着泪花直道谢。黄生想把她移栽到自家院里，香玉却连连摆手："我这身子经不起折腾啦。草木各有各的命数，我本就不该长在你家，硬要移栽反而折寿。只要两心相印，总有团圆的时候。"
黄生正惦记着绛雪怎么老不来，香玉抿嘴一笑："要请她倒也不难。"夜里提着灯笼带他到树下，掐根草茎量树干，量到四尺六寸的地方，让黄生用指甲轻轻挠树皮。忽然背后传来笑骂声："死丫头，专会帮人做坏事！"绛雪从树后转出来，香玉挽住她胳膊："好姐姐，就劳你陪他一年，往后绝不烦你。"从此三人常在一处说话。
眼瞅着牡丹芽蹿得比人还高，开春已有两尺多。黄生塞给道士银钱，千叮万嘱要好生照料。来年四月再去看，枝头缀着个鼓胀胀的花苞。正看得出神，那花苞忽然颤了颤，"啪"地绽开碗口大的花朵，花心里坐着个三寸高的小美人——可不就是香玉！她提着裙摆飘落在地，嗔怪道："我顶着风吹雨淋等你，来得这样迟！"绛雪也跟着现身，打趣道："总算不用天天替人当媳妇了。"三人说笑到半夜才散。
后来黄生妻子过世，他索性搬进山里。有回指着牡丹说："等我死了，魂魄就附在旁边那株上。"两个姑娘笑作一团："这话我们可记着啦！"
十多年后黄生病重，儿子守在床前掉眼泪。他反倒笑起来："这是新生，哭什么？"转头对道士说："日后牡丹根下冒出五片叶的红芽，那就是我。"说完就咽了气。第二年果然应验，那嫩芽三年就长到胳膊粗，可惜从不开花。老道士死后，徒弟嫌它碍事，一斧头砍了。没过多久，白牡丹和耐冬树也跟着枯死。
劳山下清宫，耐冬高二丈，大数十围，牡丹高丈余，花时璀璨似锦。
胶州黄生舍读其中。一日自窗中见女郎，素衣掩映花间。心疑观中焉得此，趋出已遁去。自此屡见之。遂隐身丛树中以伺其至。未几，女郎又偕一红裳者来，遥望之，艳丽双绝。行渐近，红裳者却退，曰：“此处有生人！”生暴起。二女惊奔，袖裙飘拂，香风洋溢，追过短墙，寂然已杳，爱慕弥切，因题句树下云：“无限相思苦，含情对短窗。恐归沙吒利，何处觅无双？”归斋冥思。女郎忽入，惊喜承迎。女笑曰：“君汹汹似强寇，令人恐怖；不知君乃骚雅士，无妨相见。”生略叩生平，曰：“妾小字香玉，隶籍平康巷。被道士闭置山中，实非所愿。”生问：“道士何名？当为卿一涤此垢。”女曰：“不必，彼亦未敢相通。借此与风流士长作幽会，亦佳。”问：“红衣者谁？”曰：“此名绛雪，乃妾义姊。”遂相狎。及醒，曙色已红。女急起，曰：“贪欢忘晓矣。”着衣易履，且曰：“妾酬君作，勿笑：‘良夜更易尽，朝暾已上窗。愿如梁上燕，栖处自成双。’“生握腕曰：“卿秀外惠中，令人爱而忘死。顾一日之去，如千里之别。卿乘间当来，勿待夜也。”女诺之。由此夙夜必偕。每使邀绛雪来，辄不至，生以为恨。女曰：“绛姐性殊落落，不似妾情痴也。当从容对驾，不必过急。、一夕，女惨然入曰：“君陇不能守，尚望蜀耶？今长别矣。”问：“何之？”以袖拭泪，曰：“此有定数，难为君言。昔日佳作，今成谶语矣。‘佳人已属沙吒利，义士今无古押衙’，可为妾咏。、诘之不言，但有呜咽。竟夜不眠，早旦而去。生怪之。
次日有即墨蓝氏，入官游瞩，见白牡丹，悦之，掘移径去。生始悟香玉乃花妖也，怅惋不已。过数日闻蓝氏移花至家，日就萎悴。恨极，作《哭花》诗五十首，日日临穴涕洟。
一日凭吊方返，遥见红衣人挥涕穴侧。从容近就，女亦不避。生因把袂，相向汍澜。已而挽请入室，女亦从之。叹曰：“童稚姊妹，一朝断绝！闻君哀伤，弥增妾恸。泪堕九泉，或当感诚再作；然死者神气已散，仓卒何能与吾两人共谈笑也。”生曰：“小生薄命，妨害情人，当亦无福可消双美。曩频烦香玉道达微忱，胡再不临？”女曰：“妾以年少书生，什九薄幸；不知君固至情人也。然妾与君交，以情不以淫。若昼夜狎昵，则妾所不能矣。”言已告别。生曰：“香玉长离，使人寝食俱废。赖卿少留，慰此怀思，何决绝如此！”女乃止，过宿而去。数日不复至。冷雨幽窗，苦怀香玉，辗转床头，泪凝枕席。揽衣更起，挑灯复踵前韵曰：“山院黄昏雨，垂帘坐小窗。相思人不见，中夜泪双双。”诗成自吟。忽窗外有人曰：“作者不可无和。”听之，绛雪也。启户内之。女视诗，即续其后曰：“连袂人何处？孤灯照晚窗。空山人一个，对影自成双。”生读之泪下，因怨相见之疏。女曰：“妾不能如香玉之热，但可少慰君寂寞耳。”生欲与狎。曰：“相见之欢，何必在此。”
于是至无聊时，女辄一至。至则宴饮唱酬，有时不寝遂去，生亦听之。谓曰：“香玉吾爱妻，绛雪吾良友也。”每欲相问：“卿是院中第几株？乞早见示，仆将抱植家中，免似香玉被恶人夺去，贻恨百年。”女曰：“故土难移，告君亦无益也。妻尚不能终从，况友乎！”生不听，捉臂而出，每至壮丹下，辄问：“此是卿否？”女不言，掩口笑之。旋生以腊归过岁。至二月间，忽梦绛雪至，愀然曰：“妾有大难！君急往尚得相见；迟无及矣。”醒而异之，急命仆马，星驰至山。则道士将建屋，有一耐冬，碍其营造，工师将纵斤矣。生急止之。入夜，绛雪来谢。生笑曰：“向不实告，宜遭此厄！今已知卿；如卿不至，当以艾炷相炙。”女曰：“妾固知君如此，曩故不敢相告也。”坐移时，生曰：“今对良友，益思艳妻。久不哭香玉，卿能从我哭乎？”二人乃往，临穴洒涕。更余，绛雪收泪劝止。
又数夕，生方寂坐，绛雪笑入曰：“报君喜信：花神感君至情，俾香玉复降宫中。”生问：“何时？”答曰：“不知，约不远耳。”天明下榻，生嘱曰：“仆为卿来。勿长使人孤寂。”女笑诺。两夜不至。生往抱树，摇动抚摩，频唤无声。乃返，对灯团艾，将往灼树。女遽入，夺艾弃之，曰：“君恶作剧，使人创痏，当与君绝矣！”生笑拥之。坐未定，香玉盈盈而入。生望见，泣下流离，急起把握香玉。以一手握绛雪，相对悲哽。及坐，生把之觉虚，如手自握，惊问之，香玉泫然曰：“昔，妾花之神，故凝；今，妾花之鬼，故散也。今虽相聚，勿以为真，但作梦寐观可耳。”绛雪曰：“妹来大好！我被汝家男子纠缠死矣。”遂去。
香玉款笑如前；但偎傍之间，仿佛以身就影。生悒悒不乐。香玉亦俯仰自恨，乃曰：“君以白蔹屑，少杂硫黄，日酹妾一杯水，明年此日报君恩。”别去。明日往观故处，则牡丹萌生矣。生乃日加培植，又作雕栏以护之。香玉来，感激倍至。生谋移植其家，女不可，曰：“妾弱质，不堪复戕。且物生各有定处，妾来原不拟生君家，违之反促年寿。但相怜爱，合好自有日耳。”生恨绛雪不至。香玉曰：“必欲强之使来，妾能致之。”乃与生挑灯至树下，取草一茎，布掌作度，以度树本，自下而上至四尺六寸，按其处，使生以两爪齐搔之。俄见绛雪从背后出，笑骂曰：“婢子来，助桀为虐耶！”牵挽并入。香玉曰：“姊勿怪！暂烦陪侍郎君，一年后不相扰矣。”从此遂以为常。
生视花芽，日益肥茂，春尽，盈二尺许。归后，以金遗道士，嘱令朝夕培养之。次年四月至宫，则花一朵含苞未放；方流连间，花摇摇欲拆；少时已开，花大如盘，俨然有小美人坐蕊中，裁三四指许；转瞬飘然欲下，则香玉也。笑曰：“妾忍风雨以待君，君来何迟也！”遂入室。绛雪亦至，笑曰：“日日代人作妇，今幸退而为友。”遂相谈宴。至中夜，绛雪乃去，二人同寝，款洽一如从前。后生妻卒，生遂入山不归。是时牡丹已大如臂。生每指之曰：“我他日寄魂于此，当生卿之左。”二女笑曰：“君勿忘之。”
后十余年，忽病。其子至，对之而哀。生笑曰：“此我生期，非死期也，何哀为！”谓道士曰：“他日牡丹下有赤芽怒生，一放五叶者，即我也。”遂不复言。子舆之归家。即卒。次年，果有肥芽突出，叶如其数。道士以为异，益灌溉之。三年，高数尺，大拱把，但不花。老道士死，其弟子不知爱惜，斫去之。白牡丹亦憔悴死；无何耐冬亦死。
异史氏曰：“情之至者，鬼神可通。花以鬼从，而人以魂寄，非其结于情者深耶？一去而两殉之，即非坚贞，亦为情死矣。人不能贞，亦其情之不笃耳。仲尼读《唐棣》而曰‘未思”，信矣哉！”