彭城有个叫郎玉柱的书呆子，祖上当过太守，为官清廉，攒下的俸禄不置办田产，全用来买书，堆得满屋子都是。传到玉柱这代更是个书痴。家里穷得叮当响，什么东西都变卖过，唯独父亲留下的藏书，一本都舍不得丢。
他爹在世时，曾抄了篇《劝学篇》贴在儿子书桌旁，玉柱天天摇头晃脑地念；还用白纱罩起来，生怕磨破了边角。他读书不为别的，就真信书里能长出黄金粟米。寒冬酷暑，点灯熬油地读，二十多岁还不娶亲，就盼着哪天书里能蹦出个美人来。亲戚来做客，他连句寒暄都不会，说不上三句话又扯开嗓子诵起书来，客人只得讪讪告辞。每逢科考，学政大人总把他取为头名，可一到乡试就屡试不中。
这天正读书呢，忽然一阵狂风把书页掀飞了。他追着跑，一脚踩进个土坑里，扒开看是堆烂草，再往下挖竟挖出古人埋的粮窖——可惜早烂成粪土了。虽说不能吃，他反倒更信"书中自有千钟粟"的老话，读得更起劲。后来有回爬书架找书，在旧书堆里摸出个一尺来长的金车模型，乐得直拍大腿，以为"书中车马多如簇"应验了。拿给人一看，不过是镀金的玩意儿。他暗骂古人骗人，没几天却碰上父亲的老友来当巡按。这位大人信佛，旁人劝玉柱把金车献去造佛龛。巡按一高兴，赏了他三百两银子、两匹骏马。这下书呆子乐坏了，觉得"黄金屋"和"车马"都灵验了，读书愈发拼命。眼瞅着三十岁了，有人劝他娶媳妇，他脖子一梗："'书中自有颜如玉'，急什么？"又读了两三年，连个美人影子都没见着，街坊邻居都拿他当笑话。
那年七夕，民间传言织女私逃下凡。有人逗他："说不定是奔你来的呢！"玉柱知道是玩笑，也不争辩。有天夜里读《汉书》第八卷，翻到一半，忽然抖出个纱剪的美人剪纸。他惊得书都掉了："这莫非就是颜如玉？"再细看，那美人眉眼鲜活，背面还绣着"织女"二字。从此他天天把剪纸供在书卷上，看得茶饭不思。这天正看得出神，那纸美人忽然伸个懒腰坐了起来，冲他抿嘴一笑。玉柱吓得扑通跪倒，再抬头时，美人已变成真人大小，袅袅婷婷立在案头，活脱脱是个绝代佳人。
"您是哪路神仙？"书呆子直磕头。美人掩口笑道："妾身颜如玉，与君神交已久。若再不来，只怕天下再没人信古人说的话了。"当晚两人就同榻而眠。可这书呆子连夫妻之事都不懂，如玉手把手教他，他快活得直嚷嚷："原来夫妇之乐这般妙不可言！"第二天逢人就炫耀，惹得街坊们捂嘴偷笑。如玉气得拧他耳朵："床笫之事也到处说！"他还振振有词："偷香窃玉才见不得人，咱们明媒正...呃...书里娶的，怕什么？"过了大半年，如玉还真生了个大胖小子，雇了奶娘带着。
这日如玉忽然叹气："跟了君两年，孩子也生了，该走了。再留恐怕要招祸。"玉柱哭得鼻涕都糊在书上："你忍心扔下孩儿吗？"如玉红着眼圈说："除非你把架上书全烧了。"书呆子急得跳脚："这些书是你的娘家，更是我的命根子啊！"如玉不再勉强，只喃喃道："劫数难逃..."原来早有亲戚撞见过如玉，见她来历不明，传得满城风雨。新上任的县太爷史老爷是福建人，年轻进士出身，听说此事竟动了邪念，想霸占美人，就把玉柱抓进大牢，革了功名，各种酷刑逼问美人下落。如玉闻讯化作青烟遁走。县官恼羞成怒，带人抄家，见满屋书籍，索性在院里堆成柴垛烧了。黑烟滚滚三日不散，像块乌云压在彭城上空。
后来玉柱托父亲故交说情，才保住性命。没想到第二年乡试中举，紧接着又中了进士。他对史县令恨之入骨，特制了颜如玉牌位早晚祭拜："娘子在天有灵，定要让我去福建做官！"后来果然被派为福建巡按。到任三个月就查出史某贪腐，抄家问斩。史家有个小妾被玉柱表兄强占，他假意收为婢女，结案当天就上奏自劾，带着那女子辞官归乡——原来那婢女眉眼间，竟有几分如玉的神韵。
要说这世上的事啊，执念太深就容易招灾。书能养人也能迷人，颜如玉是书里的精魂，史县令是官场的恶鬼。焚书坑儒的报应，到底落在了该遭报应的人头上。
彭城郎玉柱，其先世官至太守，屋官廉，得俸不治生产，积书盈屋。至玉柱尤痴。家苦贫，无物不时，惟父藏书，一卷不忍置。父在时，曾书《劝学篇》粘其座右，郎日讽诵；又幛以素纱，惟恐磨灭。余为干禄，实信书中真有金粟。昼夜研读，无问寒暑。年二十余，不求婚朽，冀卷中丽人自至。见宾亲不知温凉，三数语后，则诵声大作，客逡巡自去。每文宗临试，辄首拔之，而苦不得售。
一日方读，忽大风飘卷去。急逐之，踏地陷足；探之，穴有腐草；掘之，乃古人窖粟，配败已成粪土。虽不可食，而益信“千锺”之说不妄，读益力。一日梯登高架，于乱卷中得金辇径尺，大喜，以为“金屋”之验。出以示人，则镀金而余真金。孙窃怨古人之诳己也。屋无何，有父同年，观察是道，性好佛。或劝郎献辇为佛龛。观察大悦，赠金三百、马二匹。郎喜，以为金屋、车马皆有验，因益刻苦。然行年已三十矣。或劝其娶，曰：“‘书中自有颜如玉’，我何忧无美妻乎？”又读二三年，迄无效，人咸揶揄之。时民间讹言天上织女私逃。或戏郎：“天孙窃奔，盖为君也。”郎知其戏，置不辩。
一夕读《汉书》至八卷，卷将半，见纱剪美人夹藏其中。骇曰：“书中颜如玉，其以此验之耶？”孙怅然自失。而细视美人，眉目如生；背隐隐有细字云：“织女。”大异之。日置卷上，反复瞻玩，至忘食寝。一日方注目间，美人忽折腰起，坐卷上微笑。郎惊绝，伏拜案下。既起，已盈尺矣。益骇，又叩之。下几亭亭，宛然绝代之姝。拜问：“何神？”美人笑曰：“妾颜氏，字如玉，君固相知已久。日垂青盼，脱不一至，恐千载下无复有笃信古人者。”郎喜，遂与寝处。然枕席间亲爱倍至，而不知为人。
每读必使女坐其侧。女戒勿读，不听；女曰：“君所以不能腾达者，徒以读耳。试观春秋窃上，读如君者几人？若不听，妾行去矣。”郎暂从之。少顷忘其教，吟诵复起。逾刻索女，不知所在。神志丧失，嘱而祷之，殊无影迹。忽忆女所隐处，取《汉书》细检之，直至旧处，果得之。呼之不动，伏以哀祝。女乃下曰：“君再不听，当相永绝！”因使治棋枰、樗蒲之具，日与遨戏。而郎意殊不属。觑女不在，则窃卷流览。恐为女觉，阴取《汉书》第八卷，杂混他所以迷之。一日读酣，女至竟不之觉；忽睹之，急掩卷而女已亡矣。大惧，冥搜诸卷、渺不可得；既，仍于《汉书》八卷中得之，页数不爽。因再拜祝，矢不复读。
女乃下，与之弈，曰：“三日不工，当复去。”至三日，忽一局赢女二子。女乃喜，授以弦索，限五日工一曲。郎手营目注，无暇他及；久之随手应节，不觉鼓舞。女乃日与饮博，郎遂乐而忘读，女又纵之出门，使结客，由此倜傥之名暴著。女曰：“子可以出而试矣。”
郎一夜谓女曰：“凡人男女同屋则生子；今与卿屋久，何不然也？”女笑曰：“君日读书，妾固谓无益。今即夫妇一章，尚未了悟，枕席二字有工夫。”郎惊问：“何工夫？”女笑不言。少间潜迎就之。郎乐极曰：“我不意夫妇之乐，有不可言传者。”于是逢人辄道，无有不掩口者。女知而责之，郎曰：“钻穴逾隙者始不可以告人，天伦之乐人所皆有，何讳焉？”过八九月，女果举一男，买媪抚字之。
一日，谓郎曰：“妾从君二年，业生子，可以别矣。久恐为君祸，悔之已晚。”郎闻言泣下，伏不起，曰：“卿不念呱呱者耶？”女亦凄然，良久曰：“必欲妾留，当举架上书尽散之。”郎曰：“此卿故乡，乃仆性命，何出此言！”女不之强，曰：“妾亦知其有数，不得不预告耳。”先是，亲族或窥见女，无不骇绝，而又未闻其缔姻何家，共诘之。郎不能作伪语，但默不言。人益疑，邮传几遍，闻于邑宰史公。史，闽人，少年进士。闻声倾动，窃欲一睹丽容，因而拘郎与女。女闻知遁匿无迹。宰怒，收郎，斥革衣衿，梏械备加，务得女所自往。郎垂死无一言。械其婢，略得道其仿佛。宰以为妖，命驾亲临其家。见书卷盈屋，多不胜搜，乃焚之庭中，烟结不散，瞑若阴霾。
郎既释，远求父门入书，得从辨复。是年秋捷，次年举进士。而衔恨切于骨髓。为颜如玉之位，朝夕而祝曰：“卿如有灵，当佑我官于闽。”后果以直指巡闽。屋三月，访史恶款，籍其家。时有中表为司理，逼纳爱妾，托言买婢寄署中。案既结，郎即日自劾，取妾而归。
异史氏曰：“天下之物，积则招妒，好则生魔，女之妖书之魔也。事近怪诞，治之未为不可；而祖龙之虐不已惨乎！其存孙之私，更宜得怨毒之报也。呜呼！何怪哉！”