洛阳有个叫常大用的读书人，最爱牡丹成痴。听说曹州的牡丹天下第一，连齐鲁之地都比不上，心里痒得跟猫抓似的。正巧有事要去曹州，就借住在当地一位乡绅的花园里。
那时才二月天，牡丹连个花骨朵都没有。他天天在园子里转悠，盯着那些刚冒头的嫩芽看，眼巴巴盼着开花。等得心焦，干脆写了上百首《怀牡丹》的诗打发日子。好不容易等到花苞初绽，可盘缠快用光了。他咬咬牙把春衣当了，还是舍不得走。
这天大清早，他溜达去看花，忽然瞧见个姑娘带着老妈子在花丛边。以为是哪家小姐，赶紧躲开。傍晚再去，又撞见了。这回他偷偷打量，只见那姑娘穿着宫装，美得晃眼。常大用看得发愣，忽然一拍大腿：这哪是凡人？分明是仙女下凡！转身就去追，刚绕过假山，正撞上那老妈子。
姑娘正坐在石头上，见了他吓得花容失色。老妈子像老母鸡护崽似的挡在前面，厉声喝道："哪来的登徒子！"
常大用扑通跪下："姑娘定是仙子临凡！"
老妈子更恼了："再胡说八道，绑你去见官！"吓得他直哆嗦。那姑娘却抿嘴一笑："走吧。"转身绕过假山就不见了。
回去路上他腿都软了，心想姑娘要是告诉家里人，非得挨顿臭骂不可。躺在空荡荡的客房里，越想越后悔。转念又庆幸姑娘没生气，说不定没当回事。就这么翻来覆去，生生折腾出病来。第二天太阳老高了，见没人来找麻烦，才稍稍安心。可一闭眼就是姑娘的音容笑貌，三天下来，人都瘦脱了形。
这天半夜，仆人睡得正香。忽然那老妈子端着碗进来："我家葛巾姑娘亲手熬的鸩汤，快喝了！"
常大用脸都白了："我与姑娘无冤无仇，何至于要我死？既然是姑娘亲手熬的，与其相思成疾，不如痛快喝了！"仰脖子灌下去。老妈子接过碗，笑眯眯走了。他咂摸咂摸嘴，这药又香又凉，不像毒药。不一会儿浑身舒坦，脑袋清明，一觉睡到大天亮。病全好了，更认定遇上了仙女。
后来有次在树林里，竟迎面碰上那姑娘。见四下无人，他欢喜得直接跪下了。姑娘伸手来扶，顿时异香扑鼻。他趁机握住姑娘手腕，那肌肤柔腻得让人骨头都酥了。正要说话，老妈子又来了。姑娘赶紧让他躲到石头后，往南一指："夜里搭梯子翻墙，看见红窗子就是我家。"说完匆匆离去。
当晚他扛着梯子摸到南墙，发现墙下早备好梯子。翻过去果然有扇红窗，屋里传来下棋声。他不敢进去，又翻回来。过会儿再去，棋声还没停。扒窗缝一瞧，姑娘正和个白衣美人对弈，老妈子和丫鬟也在。来回折腾三趟，更鼓都敲三更了。正趴在梯子上，听见老妈子嚷："这梯子谁放的？"叫丫鬟一起搬走了。他挂在墙头上下不来，只好灰溜溜回去。
第二天夜里再去，梯子又备好了。摸进屋里，姑娘正发呆，见他来了慌得站起来。他作揖道："原以为没这福分，没想到真有今夜。"说着就要搂抱。姑娘扭着纤腰躲闪："急什么！"他说："好事多磨，再拖怕要遭天妒。"正说着，远处传来人声。
姑娘急得推他："玉版妹妹来了！快躲床底下！"刚藏好，进来个姑娘笑着说："手下败将还敢再战吗？茶都煮好了，咱们通宵下棋吧。"葛巾推说困了，那叫玉版的硬要拉她走，临走还打趣："这么舍不得走，屋里藏汉子了？"
等人走远，常大用从床底爬出来，气得翻箱倒柜。没找到胭脂水粉，只在床头发现个水晶如意，系着紫丝带，香喷喷的。揣怀里翻墙回去，闻着袖口沾的香气，想得更厉害了。可想到躲床底的狼狈样，又不敢再去，只好天天摩挲如意盼姑娘来找。
果然隔天姑娘来了，嗔道："原当你是君子，没想到是个贼。"他理直气壮："就偷了，谁让你不给我如意。"说着把人搂住解衣带。肌肤相贴时，只觉得姑娘浑身香气，连汗都是香的。他喃喃道："我就知道你是仙女，能得你垂青，三生有幸。就怕像杜兰香下凡嫁人，终究要分离。"
姑娘笑道："想多了。我不过是动了情的离魂倩女。这事得保密，要让人嚼舌根，你我都没好下场。"他追问来历，姑娘只说："既然当我是仙，仙人哪需要留姓名？"临走时要回如意："这是玉版落下的。"他才知道那白衣美人叫玉版。
此后姑娘隔三差五就来，他被迷得忘了回家。等钱花光了想卖马，姑娘拦住："为我典当衣裳已过意不去，再卖马怎么回洛阳？我有些私房钱给你。"他推辞不过，跟着姑娘到桑树下。姑娘让他转动石头，又用簪子挖土，竟挖出个瓦罐，里头满是银锭。他死活只肯拿一半。
有天姑娘忧心忡忡说："最近风言风语，咱们得早作打算。"他急道："我这条命早交给你了，你说怎办就怎办！"姑娘决定私奔，让他先回洛阳等着。谁知他刚到家，姑娘的车马后脚就到了。大大方方拜见公婆，邻居都来道喜，谁也不知道他们是私奔的。
他提心吊胆，姑娘却淡定得很："千里之外谁能知道？就算知道，我娘家也是有头有脸的，还能把咱们怎样？"
他弟弟常大器十七岁，姑娘见了说："这孩子有慧根，前程比你强。"后来大器定亲未娶，姑娘就做媒把玉版许配给他。
那书生搓着手，腆着脸求姑娘给他做媒。姑娘噗嗤一笑："这有什么难的？"
"可有什么门道？"书生急得直搓衣角。姑娘捻着发梢说："我那妹妹与我最是要好。备两匹快马驾着轻车，让个老婆子跑个来回就成。"书生想起先前私会的事，怕露了馅，支支吾吾不敢应。姑娘却拍着胸脯说无妨，转头就吩咐桑婆婆套车出发。
马车跑了好几日才到曹州。离城门还有段路，婢女就跳下车，让车夫在路边等着。趁着夜色摸进城里，不多时真带着个美人儿回来了。车轮碾着月光赶路，夜里就睡在车上，五更天又接着走。这边姑娘掐着日子，让大器穿戴整齐去迎亲。约莫走出五十里地，两路人马碰了头，吹吹打打把新娘子迎进门。红烛高烧，拜过天地，兄弟俩都得了如花美眷，家业也越发兴旺。
谁知好景不长。那天晌午，几十个强盗骑着马闯进院子。书生知道来者不善，赶紧带着全家躲上阁楼。强盗们把楼团团围住，书生从窗缝里探出头："咱们可有仇怨？"底下人嚷道："无仇无怨！就两件事：一是听说府上两位夫人美若天仙，让弟兄们开开眼；二是咱们五十八号人，每人要五百两银子。"说着就在楼下堆柴火，摆明了不给就烧楼。
书生答应给银子，强盗们却不依不饶，举着火把要往柴堆上凑。全家人吓得直哆嗦。两位姑娘对视一眼就要下楼，书生死死拽住她们衣袖。只见她们理理云鬓，踩着绣花鞋往下走，还剩三级台阶时站定。葛巾扬声道："我姊妹本是天上仙娥，暂游人间，岂会怕你们这些毛贼？莫说万两黄金，就是搬座金山来，你们敢接么？"强盗们齐刷刷跪倒，连说不敢。
姐妹俩刚要转身，有个愣头青突然嚷道："别是唬人的！"玉版闻言猛地转身，裙裾旋出朵白莲花："要动手就趁早！"强盗们你看我我看你，愣是没人敢吱声。姐妹俩款款上楼，强盗们再抬头时，只见窗边一抹霞光闪过，这才哄然散去。
两年后姐妹各生了个大胖小子。有回闲聊时，她们突然说起娘家姓魏，母亲受封曹国夫人。书生心里直犯嘀咕：曹州哪有姓魏的大户？再说丢了闺女的人家，怎能不闻不问？他借口办事又去了趟曹州，打听半天，压根没有魏姓望族。回到旧日借宿的客栈，忽见墙上题着首《赠曹国夫人》的诗，墨迹都褪色了。
掌柜的见他盯着诗看，笑着引他去后院。但见一株牡丹长得比屋檐还高，掌柜的说："这株葛巾紫年年开花都是曹州第一，大伙儿玩笑封它作曹国夫人。"书生浑身汗毛都竖起来了，回家路上越想越怕。
他不敢直接质问妻子，只把那首诗念给她听。葛巾顿时脸色煞白，冲出去喊来玉版，两人各抱着孩子对书生说："三年前感念你真心相待，才以身相许。如今既然生疑，缘分就到这儿吧！"说着竟把两个孩子往地上一抛。书生惊呼着去接，却见孩子落地就没了踪影，再回头时，两位佳人早已化作清风散去。
后来孩子坠落的地方长出两株牡丹，一夜之间蹿得老高。当年就开出盘子大的花，一紫一白，比寻常的葛巾、玉版品种更繁复。几年后繁衍成片，移植到别处竟又变出新品种，连老花农都叫不上名来。从此洛阳牡丹甲天下，再没有比这家开得更盛的。
常大用，洛人，癖好牡丹。闻曹州牡丹甲齐、鲁，心向往之。适以他事如曹，因假缙绅之园居焉。时方二月，牡丹未华，惟徘徊园中，目注勾萌，以望其拆。作《怀牡丹》诗百绝。未几花渐含苞，而资斧将匮；寻典春衣，流连忘返。一日凌晨趋花所，则一女郎及老妪在焉。疑是贵家宅眷，遂遄返。暮往又见之，从容避去；微窥之，宫妆艳绝。眩迷之中，忽转一想：此必仙人，世上岂有此女子乎！急返身而搜之，骤过假山，适与媪遇。女郎方坐石上，相顾失惊。妪以身幛女，叱曰：“狂生何为！”生长跪曰：“娘子必是仙人！”妪咄之曰：“如此妄言，自当絷送令尹！”生大惧，女郎微笑曰：“去之！”过山而去。
生返，复不能徒步。意女郎归告父兄，必有诟辱相加。偃卧空斋，甚悔孟浪。窃幸女郎无怒容，或当不复置念。悔惧交集，终夜而病。日已向辰，喜无问罪之师，心渐宁帖。回忆声容，转惧为想。如是三日，憔悴欲死。秉烛夜分，仆已熟眠。妪入，持瓯而进曰：“吾家葛巾娘子，手合鸩汤，其速饮！”生骇然曰：“仆与娘子，夙无怨嫌，何至赐死？既为娘子手调，与其相思而病，不如仰药而死！”遂引而尽之。妪笑接瓯而去。生觉药气香冷，似非毒者。俄觉肺膈宽舒，头颅清爽，酣然睡去。既醒红日满窗。试起，病若失，心益信其为仙。无可夤缘，但于无人时，虔拜而默祷之。
一日行去，忽于深树内觌面遇女郎，幸无他人，大喜投地。女郎近曳之，忽闻异香竟体，即以手握玉腕而起，指肤软腻，使人骨节欲酥。正欲有言，老妪忽至。女令隐身石后，南指曰：“夜以花梯度墙，四面红窗者即妾居也。”匆匆而去。生怅然，魂魄飞散，莫知所往。至夜移梯登南垣，则垣下已有梯在，喜而下，果有红窗。室中闻敲棋声、伫立不敢复前，姑逾垣归。少间再过之，子声犹繁；渐近窥之，则女郎与一素衣美人相对弈，老妪亦在坐，一婢侍焉。又返。凡三往复，漏已三催。生伏梯上，闻妪出云：“梯也，谁置此？”呼婢共移去之。生登垣，欲下无阶，恨悒而返。
次夕复往，梯先设矣。幸寂无人，入，则女郎兀坐若有思者，见生惊起，斜立含羞。生揖曰：“自分福薄，恐于天人无分，亦有今夕也！”遂狎抱之。纤腰盈掬，吹气如兰，撑拒曰：“何遽尔！”生曰：“好事多磨，迟为鬼妒。”言未已，遥闻人语。女急曰：“玉版妹子来矣！君可姑伏床下。”生从之。无何，一女子入，笑曰：“败军之将，尚可复言战否？业已烹茗，敢邀为长夜之欢。”女郎辞以困惰，玉版固请之，女郎坚坐不行。玉版曰：“如此恋恋，岂藏有男子在室耶？”强拉出门而去。生出恨极，遂搜枕簟。室内并无香奁，惟床头有一水精如意，上结紫巾，芳洁可爱。怀之，越垣归。自理衿袖，体香犹凝，倾慕益切。然因伏床之恐，遂有怀刑之惧，筹思不敢复往，但珍藏如意，以冀其寻。
隔夕女郎果至，笑曰：“妾向以君为君子，不知其为寇盗也，”生曰：“有之。所以偶不君子者，第望其如意耳。”乃揽体入怀，代解裙结。玉肌乍露，热香四流，偎抱之间，觉鼻息汗熏，无气不馥。因曰：“仆固意卿为仙人，今益知不妄。幸蒙垂盼，缘在三生。但恐杜兰香之下嫁，终成离恨耳。”女笑曰：“君虑亦过。妾不过离魂之倩女，偶为情动耳。此事宜要慎秘，恐是非之口捏造黑白，君不能生翼，妾不能乘风，则祸离更惨于好别矣。”生然之，而终疑为仙，固诘姓氏，女曰：“既以妾为仙，仙人何必以姓名传。”问：“妪何人？”曰：“此桑姥。妾少时受其露覆，故不与婢辈等。”遂起欲去，曰：“妾处耳目多，不可久羁，蹈隙当复来。”临别，索如意，曰：“此非妾物，乃玉版所遗。”问：“玉版为谁？”曰：“妾叔妹也。”付钩乃去。
去后，衾枕皆染异香。从此三两夜辄一至。生惑之不复思归，而囊橐既空欲货马，女知之，曰：“君以妾故，泻囊质衣，情所不忍。又去代步，千余里将何以归？妾有私蓄，卿可助装。”生辞曰：“感卿情好，抚臆誓肌，不足论报；而又贪鄙以耗卿财，何以为人乎！”女固强之，曰：“姑假君。”遂捉生臂至一桑树下，指一石曰：“转之！”生从之。又拔头上簪，刺土数十下，又曰：“爬之。”生又从之。则瓮口已见。女探入，出白镪近五十余两，生把臂止之，不听，又出数十铤，生强分其半而后掩之。
一夕谓生曰：“近日微有浮言，势不可长，此不可不预谋也。”生惊曰：“且为奈何！小生素迂谨，今为卿故，如寡妇之失守，不复能自主矣。一惟卿命，刀锯斧钺，亦所不遑顾耳！”女谋偕亡，命生先归，约会于洛。生治任旋里，拟先归而后迎之；比至，则女郎车适已至门。登堂朝家人，四邻惊贺，而并不知其窃而逃也。生窃自危，女殊坦然，谓生曰：“无论千里外非逻察所及，即或知之，妾世家女，卓王孙当无如长卿何也。”
生弟大器，年十七，女顾之曰：“是有慧根，前程尤胜于君。”完婚有期，妻忽夭殒。女曰：“妾妹玉版，君固尝窥见之，貌颇不恶，年亦相若，作夫妇可称佳偶。”生请作伐，女曰：“是亦何难。”生曰：“何术？”曰：“妹与妾最相善。两马驾轻车，费一妪之往返耳。”生恐前情发，不敢从其谋，女曰：“不妨。”即命桑妪遣车去。数日至曹。将近里门，婢下车，使御者止而候于途，乘夜入里。良久偕女子来，登车遂发。昏暮即宿车中，五更复行。女郎计其时日，使大器盛服而迎之。五十里许乃相遇，御轮而归；鼓吹花烛，起拜成礼。由此兄弟皆得美妇，而家又日富。
一日有大寇数十骑突入第。生知有变，举家登楼。寇入围楼。生俯问：“有仇否？”答云：“无仇。但有两事相求：一则闻两夫人世间所无，请赐一见；一则五十八人，各乞金五百。”聚薪楼下，为纵火计以胁之。生允其索金之请，寇不满志，欲焚楼，家人大恐。女欲与玉版下楼，止之不听。炫妆下阶，未尽者三级，谓寇曰：“我姊妹皆仙媛，暂时一履尘世，何畏寇盗！欲赐汝万金，恐汝不敢受也。”寇众一齐仰拜，喏声“不敢”。姊妹欲退，一寇曰：“此诈也！”女闻之，反身伫立，曰：“意欲何作，便早图之！尚未晚也。”诸寇相顾，默无一言。姊妹从容上楼而去。寇仰望无迹，哄然始散。
后二年，姊妹各举一子，始渐自言：“魏姓，母封曹国夫人。”生疑曹无魏姓世家，又且大姓失女，何得置之不问？未敢穷诘，心窃怪之。遂托故复诣曹，入境谘访，世族并无魏姓。于是仍假馆旧主人，忽见壁上有赠曹国夫人诗，颇涉骇异，因诘主人。主人笑，即请往观曹夫人，至则牡丹一本，高与檐等。问所由名，则以其花为曹第一，故同人戏封之。问其“何种”？曰：“葛巾紫也。”愈骇，遂疑女为花妖。既归不敢质言，但述赠夫人诗以觇之。女蹙然变色，遽出呼玉版抱儿至，谓生曰：“三年前感君见思，遂呈身相报；今见猜疑，何可复聚！”因与玉版皆举儿遥掷之，儿堕地并没。生方惊顾，则二女俱渺矣。悔恨不已。后数日，堕儿处生壮丹二株，一夜径尺，当年而花，一紫一白，朵大如盘，较寻常之葛巾、玉版，瓣尤繁碎。数年茂荫成丛，移分他所，更变异种，莫能识其名。自此牡丹之盛，洛下无双焉。
异史氏曰：“怀之专一，鬼神可通，偏反者亦不可谓无情也。少府寂寞，以花当夫人；况真能解语，何必力穷其原哉？惜常生之未达也！”