崂山的下清宫有株耐冬，高两丈，粗十几围，枝繁叶茂；另有一株牡丹，高一丈多，开花时璀璨似锦。
胶州人黄生住在下清宫中读书。一天，从窗中见到一个白衣女郎一闪而过，心里怀疑道观中哪有这等美人，跑出来观看，但美人已经消失在花丛中。黄生便藏身树丛中，等待她的到来。不久，女郎又带了个穿红衣的同伴一起来了，都极为漂亮。两人逐渐走近，穿红衣的后退说：“这里有陌生人！”黄生突然起身，两个女郎吓得急忙奔跑，裙衫飘拂，香风洋溢。追过矮墙，什么都不见了。黄生深深地爱慕她，便在树下题诗说：
无限相思苦，
含情对短窗。
恐归沙吒利，
何处觅无双？
回到书房苦想丽人的身影。女郎忽然进来，笑着说：“你气势汹汹好像强盗，令人可怕。不知道你还是诗人，不妨一见。”黄生惊喜地接待她，叩问生平，她回答：“我小名香玉，原是平康巷中的人，被道士关在山中，确实不是我所愿意的。”黄生问：“道士叫什么名字？一定要为你洗雪这耻辱。”女郎说：“不必，他也不敢逼迫我。借此机会和风流雅士幽会，也很适意。”黄生又问：“穿红衣的是谁？”女郎答：“她名叫绛雪，是我的义姐。”两人夜晚就亲热起来。
等到睡醒，旭日临窗。女郎急忙起床，说：“贪欢忘记天亮了。”一边穿衣着鞋，一边说：“我和你一首诗，不要见笑：良夜更易尽，朝暾已上窗。愿如梁上燕，栖处自成双。”黄生握着她手腕说：“你秀外慧中，令人爱得要死，但你离开一天，就好像千里分别。你一定要抽空来此，不要等到晚上。”女郎答应了，从此早晚都到。每次让她邀请绛雪来，就是不来，黄生觉得遗憾。女郎说：“绛姐性情特别孤傲，不像我这般痴情，容我慢慢劝驾，不必太急。”一天晚上，香玉凄惨地进来说：“连陇地都不能守住，还想要得到蜀吗？如今要长久分离了！”黄生问：“为什么？”她用衣袖拭泪，说：“这是定数，不便和你说。以前的诗作，如今竟成了谶语。‘佳人已属沙吒利，义士今无古押衙’，可以说是为我吟咏的。”盘问她又不说，只是呜呜大哭，整夜都不睡，清早就离去了。黄生觉得奇怪。
第二天，有个即墨人蓝某到下清宫游览，他很喜欢白牡丹，便挖走了。黄生这才知道香玉就是花妖，怅恨不已。过几天，听说蓝某把花移栽到家中，便一天天凋谢了。黄生痛心气愤极了，写《哭花》诗五十首，天天在花坑边哭泣。
一天，黄生远远见一红衣人在花坑边哀泣，慢慢走近她，她也不回避。黄生便拉着她袖子，相对流泪。后来请她进了书房，进一步交谈，她叹息道：“从小的姊妹，一时就断绝了！看到你哀伤，更添我的悲痛。泪洒九泉，或许会感动她再生。但死去的她神气已散，仓促间怎么能和我们两人一同谈笑呢？”黄生说：“因我命薄，妨害有情人，本也没福气享受两个美人。以前曾多次烦请香玉传达我的一点诚心，你怎么总是不来？”她说：“我以为青年书生，十分之九薄情，想不到你却是个情种。但我和你交往，是凭情感，而不是淫乱。如果每天亲昵，那是我不能做到的。”说完就告别。黄生说：“香玉久别，使我寝食俱废。请你稍留一下，来安慰我的思念，为什么要这么绝情呢！”她便留下，住一夜才走，好几天不再来。黄生面对冷雨幽窗，苦思香玉，辗转床头，泪水凝结在枕席上。他披衣起身，点灯步前韵写道：
山院黄昏雨，垂帘坐小窗。
相思人不见，中夜泪成双。
黄生把诗写完，大声吟咏。忽然窗外有人说：“写诗不能没有人和诗呀。”一看，原来是绛雪，开门让她进来。绛雪一看诗，便在诗后写道：
连袂人何处？孤灯照晚窗。
空山人一个，对影自成双。
黄生一读，泪水直流，只怨恨相见太少。绛雪说：“我不能像香玉那样热情，只能稍稍慰藉你的寂寞罢了。”黄生要和她交欢，她说：“相见谈心，心愿已足，何必要如此？”
从此，每当黄生无聊时，绛雪就来一次，一来便饮酒作诗，有时不睡就走，黄生也听之任之，他说：“香玉是我的爱妻，绛雪是我的好友呀。”他问绛雪：“你是院中第几株？请早点告知我，我将抱回家中培植，免得像香玉那样被坏人抢去，遗恨终生。”绛雪说：“故土难移，告诉你也没好处。妻子还不能跟你一生，何况朋友呢！”黄生不听她的，拖住她手臂出来，每到一株牡丹下，就问：“这是你吗？”绛雪不说话，掩口微笑。到了腊月，黄生回家过年。忽然梦见绛雪来到，凄伤地说：“我有大难！你快去还能相见，晚了就来不及了！”醒来觉得奇怪，急忙骑马连夜赶到崂山。原来是道士要建房，有一株耐冬，妨碍他们挖基，工匠准备用斧头砍掉它。黄生急忙阻止他们。到夜晚，绛雪来感谢他。黄生笑着说：“以前不如实告诉我，才遭受这样的劫难！我如今知道你在哪里了，如你不来，我一定要烧艾条烤你。”绛雪说：“我就知道你会这样，因此以前就不敢告诉你。”坐了一个时辰，黄生说：“如今面对好友，更加思念爱妻。很久没哭过香玉，你能跟我一起凭吊吗？”两人同去花坑边祭祀。哭到一更多时间，绛雪才揩干泪水劝住黄生。
这晚，黄生正寂寞坐着，绛雪笑着进来说：“告诉你个好消息，花神被你的诚心感动，让香玉再降生宫中。”黄生问：“什么时候？”绛雪答：“不清楚，大约不久了。”天亮下床时，黄生嘱咐她：“我为你来到这里，你不要常常使我觉得孤寂。”绛雪笑着答应。两晚没有来，黄生便去抱住耐冬树，边摇动边抚摸，多次呼叫都没回声。回房对着灯搓一根艾条，准备去烧树。绛雪急忙进来，夺走艾炷扔掉，说：“你恶作剧如果伤了我，我一定和你断绝！”黄生笑着拥抱她。还没坐稳，香玉轻盈地走进来。黄生望见她，泪水淋漓，急忙起身拉着香玉，另一手拉着绛雪，相对着悲伤。黄生握住香玉的手觉得空虚，就像没有握着一样，惊奇地问她。香玉流泪说：“过去我是花仙，所以形体凝结；如今我是花鬼，所以形体离散了。如今虽然相聚，只能当做梦看罢了。”绛雪说：“妹妹来就太好了！我被你家男人纠缠死了。”便独自离去了。(:http:///转载请保留!)
香玉仍像从前那么温柔欢笑，但是互相依偎时仿佛用身体接近影子。黄生郁闷不乐，香玉也时时怨恨自己，便说：“你用白蔹的碎屑，拌少许硫磺，每天烧我一杯水，明年这一天报答你的恩情。”第二天，黄生到老地方一看，牡丹已萌芽了，便每天灌溉培植，又建雕栏保护。香玉夜来，加倍感激他。黄生打算把牡丹移栽到家中，香玉不同意，说：“我很脆弱，不能再忍受伤害。况且万物生存各有固定的地方，违背这些，反而会缩短年寿。只要你怜爱我，欢乐团聚自然不远了。”黄生可惜绛雪不来，香玉说：“一定要让她来，我能做到。”便和他点灯到耐冬树下，拔下一根草茎，用手作尺子度量树干，从下往上，按住四尺六寸的地方，叫黄生用两手一齐搔树。一会儿就见绛雪从背后出来，笑着骂道：“丫头一来，助纣为虐吗？”便挽着手一同进房。香玉说：“姐姐不要责怪！暂时请你陪陪我丈夫，一年后就不打搅了。”从此习以为常。
黄生看着花芽，一天天茁壮成长，春末已有两尺左右高。回家时，便给道士赠送银两，嘱咐他每天培养。第二年四月到宫中，见一朵花含苞欲放。正在观赏时，花苞摇动，就要裂开，不久就开放了。花朵有盘子般大，俨然有个小美人坐在花蕊中，估计身高有三四指左右，转眼间飘然而下，原来是香玉。她笑着说：“我忍受风雨等待你，你为什么来得这么迟呀！”绛雪也来了，笑着说：“天天代人作媳妇，如今幸好退下来做朋友。”三人一起设宴交谈，到深夜绛雪才走。黄生和香玉同睡，融洽仍如从前。后来黄生家中的元配死了。他就住到崂山不回家。这时牡丹已长得像手臂那么粗了，黄生每每指着花说：“我死后寄魂在这里，一定长在你左边。”两个姑娘笑着说：“你不要忘了。”
十多年后，黄生忽然病倒。他儿子前来探望，痛哭不已，他笑着说：“这是我出生的日子，而不是我死亡的日子，为什么要伤心？”他对道士说：“日后牡丹下有红芽茁壮生长，一下长出五片叶子的，那就是我。”儿子运他回家，不久就死去了。第二年，牡丹下果然有壮实的嫩芽突然长出，叶子也像他说的那么多。道士觉得奇怪，更殷勤给它浇水。三年后，长了几尺高，碗口粗，但不开花。老道士死后，弟子们不知爱护，把它砍掉了。白牡丹也枯萎凋零，没多久耐冬也死掉了。