道光年间，有一个山西客商姓万名佳，他自幼便没了双亲，靠大伯将他养大。因从小进过几天私塾，能写一笔漂亮的蝇头小楷，所以十六岁的时候便成为了县衙的刀笔小吏，十七岁便在大伯的一手操办下娶了当地雍家的女儿，妻子雍氏不仅贤惠能干而且还颇有些风致。婚后万佳觉得作为衙门小吏每月薪俸太少，不足以养家，此时正值鸦片大量输入国内之际，上至王公大臣下至贩夫走卒吸食此物的不在少数，万佳认为这是一个大好时机，于是便断然弃学经商，专门来往于齐楚间贩卖鸦片。此人不仅极其精明，而且又善于算计，因此短短数年间便发家暴富，赚了很多黑心银子，一时间富甲一方。
等他赚够了钱，又寻思起要光宗耀祖起来，于是便花了一千两银子捐了一个九品候补官，在原籍等候录用。此时他身穿官服腰佩美玉，出门有车进门有轿，一边自居为官一边继续做着鸦片生意，居然也成了当地的富绅。万佳自幼精通歌唱丝竹等技艺，日常便与一些浪荡公子出没于烟花柳巷，所以经常夜不归宿，家中只留下雍氏一人独守空房，而雍氏多次对他劝说他也充耳不闻，时间长了雍氏对此也无可奈何，逐渐便习以为常了。
有一日晚间雍氏正在镜前挑灯卸妆，忽见镜中人影一闪，似乎身后隐约有一个男子的身影。她出其不意被吓了一大跳，随即以为是丈夫早早回来想悄悄和自己开一个玩笑，于是满心欢喜的回头看去，没想到一看之下却发现身后之人并不是自己的夫君，而是站着一个翩翩美少年，只见这少年面如冠玉神貌俊朗，自己生平却从未见过。雍氏惊骇之下便欲呼叫，却发现自己已然口不能言，连神智也开始迷糊起来。
美少年走上前来搂着雍氏坐在床上，一边抚摸着她一边附在她耳际小声说道：“我是五通神中的四郎，因为可怜你每晚孤枕难眠，所以特地来慰藉你，你大可不必这样害怕。”雍氏一听又羞又怕，正待用力将他推开，忽觉四郎全身肌肤中有一缕幽香已被吸入体内，随即就觉四郎的舌头伸入自己口中搅拌吮吸，一时间不由芳心大动情不自禁，于是便放弃反抗任其所为。待到云收雨停，雍氏更觉得神清气爽，而此时四郎没有起身，犹和她一起同床共枕。雍氏心中又是羞怯又是爱恋，觉得天下的男人都没有如四郎这么好的。
自此以后每晚四郎都来她房中留宿，每次来的时候两人先要饮酒为乐，饮到微醉方才上床，然后一定要尽欢之后才入睡，如此过了良久，雍氏对四郎的感情也日渐深厚。没想到偶有一天万佳三更便回到家中，一进雍氏房中便见四郎正拥着她酣睡，他眼见此状当即暴跳如雷，大喝一声便转身从墙上抽出挂着的宝刀，一刀便向四郎当头劈去。四郎闻听得开门声已然惊醒，见他回来正自仓皇失措，眼见这一刀来势汹汹，急切之下化作一道白光从窗缝中飞了出去。
万佳见状惊怒交集，便大声喝问雍氏道这是怎么回事。雍氏抵死装作不知，说也没见到有人睡在自己床上，想必是万佳喝醉看走了眼。万佳眼见事情诡异，但是又找不到什么异常的地方，于是只好悻悻作罢，但是心里终究还是充满疑虑，自此以后枕席之上对雍氏更是大为冷落，连平日见到雍氏也是冷言冷语再无欢颜。
过了数天，万佳又假装出门作乐，其实走到半途就折身而返，悄悄回来想要捉奸。果不其然他刚一出门四郎便来到雍氏房中，雍氏一见四郎就扑在他怀里哭泣道：“妾本想和您永好，没想到现在却不能如愿了。”四郎听罢却面有难色不作一声。雍氏见状便问他道：“您既是神道，为何如此惧怕凡人呢？”四郎说道：“不是如你所想的这样。人之所以异于禽兽，是因为有天良的原因。既然盗取了妻子，还要欺凌丈夫，人且不可何况神呢？”话音未落只听一声大喝房门已被踹开，万佳手拿宝刀怒冲冲地闯了进来。
四郎见他破门而入也不惊慌，对他笑一笑便欲离去，没想到抬头一看门外还有十几个健壮的大汉张弓搭箭守在院外，想来这自然也是万佳提前布置好的。四郎眼见如此，于是便拉着雍氏的衣袖一起跪在地上向万佳叩头请罪，说道只要放过雍氏他便永绝踪迹再也不来骚扰。万佳一听更是怒发如狂，不由分说手起刀落便向四郎头上砍去，只听“通”的一声，刀刃就像砍在一面破鼓身上一样，四郎却恍若不知，依然叩头求饶不已。万佳连着又是几刀砍下，四郎依然是毫发无损。此时外面十数个大汉口中叫嚷着准备冲入房内，四郎眼看形势危急，忽然起身从袖中拿出一把金钱向门外抛出，瞬间犹如漫天花雨一般洒落在地下。趁着众人目眩神迷的时候，四郎仍是化作一道白光从万佳胯下飞出屋外。
万佳见四郎逃走也不追赶，随即将刀扔到一旁，俯身从地下将金钱拾起，粗略一数总共有百余两之多，于是拿出一点作为这些壮汉的酬劳，剩下的都尽数收入了自己的囊中。而雍氏自这晚开始就一病不起，每日都是昏迷不醒一言不发，而万佳因为心中对她厌恶所以也从不来探视。这样一直过了月余，忽一日夜间雍氏清醒过来，自己从床上坐起穿好衣服，然后起身在镜前装饰一新，接着派人将万佳叫来对他说道：“四郎今夜要来娶我了。”万佳听罢大怒道：“他既是身入神道，为何还要强娶有夫之妇？”雍氏轻轻一笑道：“你就不要再说了。之前你所得的那些钱是为什么？那就是卖我的钱啊。”说毕便登上床账坐下一笑而逝。此时众人忽听空中似乎传来吹鼓丝竹声，车马喧哗声，吵吵闹闹过了好一阵方才寂静下来。
待得第二天，万佳的狐朋狗友听说雍氏去世了，纷纷前来安慰他。万佳不仅毫无悲伤之意，反而鼓掌大笑道：“我本来就想出倘远门，雍氏若是不死反而是我的拖累啊。”于是将雍氏草草埋葬之后便遣散了家奴，带着所有的银子出走四方，继续做起了鸦片生意。过了三年多，万佳经过陕西汉中的时候偶然认识了知府史大人。史知府见他谈吐不凡又写得一手好字，于是便将他留在府中做了幕僚，万佳见这里山水绝佳人杰地灵，因此也在此地买了房子定居下来。史知府此人为人刻薄铿吝，万佳却总能投其所好曲意奉承。凡是史知府讨厌的人万佳必然故意为难他，然后借故将其侮辱谩骂；凡是想逢迎知府的人万佳也亲自穿针引线周旋备至。
若是知府偶然做错了什么事，此时万佳就会挺身而出揽为己过，并对旁人说道：“这都是我的错，和知府大人又有什么关系呢？”因此史知府对他大加赞赏，逢人便道：“我真是虚度了这么多时光，后悔认识万先生实在是太晚了啊。”如此又过了一段时间，史知府交给万佳一千两白银让他代为购买一个漂亮的姬妾。万佳拿到银子整日游走于大街小巷，四处打探之后在一户贫民家中用五百两银子买得一位艳丽无比的年轻女子，本想敬奉上去，可万佳本就是个色中饿鬼，又见此女貌美如花千娇百媚，心中实在按耐不住，便先将女子带回到自己府中金屋藏娇，一直迟迟没有敬献给史知府。没想到过了半月史知府就因为贪墨的事情东窗事发丢官而去，万佳正好心安理得的将女子占为己有，作为他的第一个姬妾，给她起了小名叫做春花。
他有一个朋友是河南人，名叫王七，喜欢收藏古玩，有时也委托万佳代为收购。每次万佳看到珍贵的古器，总是暗中拿出自己的钱来贴补一半，然后将古玩交给王七，只向他报一半的价格。久而久之王七对他大加信任，经常对人说道：“天下守信诚实之人还能有比万先生更好的吗？”过了一段时间，王七要和别人过海经商，于是将自己十六岁的女儿寄居在万家，并对他说道：“我的女儿已到破瓜之年，我若三年不归，还请兄长代为她找一个好夫家。”万佳当即拍胸应允下来。没想到待王七一走，万佳便贪恋王氏的美色，于是骗王氏说替他找了一个上门女婿，先哄王氏答允下来。待到入赘之日，王氏和夫君交拜天地入了洞房，她将头帕掀起一看，这夫君不是别人正是万佳。此时王氏叫天不应喊地不灵，只好逆来顺受做了他的第二个小妾，他给王氏起了个小名叫做夏云。
过了数月万佳到江西贩货，偶然乘船过鄱阳湖，这船老大姓焦，有一个女儿甚是貌美。万佳在船上每次吃饭都要亲自下厨，做好精致的菜肴再备上一壶好酒邀请焦老头一起吃喝。几天下来两人就彼此熟悉了，一日酒酣耳热之际万佳故作不经意问道：“不知女公子至今为何没有嫁出去啊？”焦老头答道：“这小妮子被我惯坏了，不想再嫁给船工。但是富商巨贾她又高攀不上，所以至今还迟迟未嫁。”万佳哈哈一笑道：“我虽不才，也是一个九品官，不知您愿不愿意将女儿下嫁与我？”焦老头听罢此言也哈哈一笑道：“你都快四十的人了还没有妻子，谁敢相信啊？”万佳见状急忙正色道：“老丈此言真是冤枉我了啊。我的结发妻子早死，至今尚无再婚。”一边说着一边指天赌咒发誓不已。焦老头见状深信不疑，于是便将女儿嫁给了他。没想到等到一过门却发现他早就有了两个姬妾，焦老头惊怒交加，一时间悔恨不已，准备诉诸于官府。此时焦氏大哭着将父亲拉住说道：“女儿现在已是如此，还要再多说什么呢？”万佳也跪在地上磕头不已，又拿出大笔银子交给老头，焦老头无奈之下只得长叹一声拂袖而去。于是焦氏便成了他的第三个姬妾，起名叫做秋月。
过了半年，万佳偶然在楚州（淮安县）游玩，听说此县有一个名妓名叫张眉娘，风韵上佳。于是他便找到张眉娘在她家住了下来，这张眉娘三十六七，果然是很有风致。她还有一个女儿名叫亭亭，更是生的千娇百媚亭亭玉立。万佳本是风月场中的老手，一来二去便先和女儿亭亭私通了起来，两人订下海誓山盟婚娶之约。后来张眉娘知道了此事，叹息一声说道：“没想到我的女儿比我先有了归宿。青楼之人不缺吃穿，唯独凤冠补服不易得啊。”万佳听罢对她说道：“我本是九品官，他年若是亭亭得了封赏，也可转赠于你。”眉娘听后默然良久，忽附耳对万佳道：“你娶亭亭，只能得到她的人而不能得到她的钱，而且还要破费你的钱财。若是娶了我，不仅可以得到人，还可以得到我这么多年积攒下来的梳妆钱。这样的话你得人财我得富贵，岂不是两全其美之事？”万佳听罢皱起眉头面有难色，良久方才答道：“如此虽好，但是抛弃亭亭我心犹不忍。”眉娘听罢沉思片刻咬一咬牙说道：“那索性我们母女二人共侍一夫如何？”万佳一听心中大喜，忙不迭的点头应允下来。等到母女二人随他回到家中，这才发现他已经有了三个姬妾，这一下二人不由悲从中来大哭不已，呼天抢地寻死觅活。万佳极意温柔体贴安慰，终于哄得母女俩转怒为喜，和三个姬妾相安无事各以姐妹相称。于是便以眉娘为第四个姬妾，起名叫做冬松，以亭亭为五妾，名作四季。万佳随即又大兴土木扩建府邸，给每个姬妾都修了一个庭院，终日和她们鼓乐笙箫吃喝玩乐，一时间过得犹如神仙一般。
一日闲来无事，万佳听说有一个叫柯连的画家善于丹青写真，于是便将他邀至府中为五位姬妾作画。这柯连果然技艺高超名不虚传，一会功夫就将五位美女画好，不仅个个相貌酷似，连神态也惟妙惟肖。万佳看了心中大喜，于是亲自在画上题字，名曰“五美图”，接着便给了柯连洋钱一枚作为酬劳。柯连认为他给的报酬太少，与他争了几句，万佳勃然大怒道：“难道我堂堂一个九品官，还不能让你来画一幅画吗？若是这样的话，那天下捐官的还有什么意义呢？”说毕便大声呵斥柯连让他滚出去。柯连忍辱走出门外，心中犹自愤愤不平，当即便来到城中五通祠里燃香祷告，万佳却对此一无所知。
过了数日，一天夜里万佳醉归，奴仆在前面打着灯笼引路，到了中门就止步不前了，这也是万佳给他们立的规矩。等他摇摇晃晃的刚进入庭院，忽听五位美人的房中传来一阵淫声浪语，嗤嗤不休。闻听此声他心中不由一惊，酒也猛然醒了大半，心中怀疑自己不在家为何五位姬妾房中都有人？莫非她们都背着自己找了相好不成？想至此处他便蹑起手脚走到四季窗前透过窗缝向内看去。灯光下只见一个身穿狐裘大衣的人背对自己，正抱着四季抚摸着她的一双椒乳，而四季口中吃吃笑着，也不挣扎抵拒。万佳见状简直气炸了肺，当即怒喝一声闯进房中，男子听得他进来了也不惊慌，从床上慢慢站起身来，待他转过来一看，万佳不由大惊失色，只见这男子的相貌和他一模一样，纤毫不差。
这男子一见万佳便大喝道：“你是何方妖魅，竟然敢变成我的样子来迷惑四季？当初我的结发妻子为五通神所杀，想必是他又垂涎于四季的美貌，不然这闯入房中的又是谁呢？”说毕转身抽出墙上的宝刀便欲上前，而四季刚开始开间两个万佳也是惊骇莫名，待听罢此言后急忙手持剪刀气势汹汹的想要上前。万佳见状心中大惊，赶忙对她说道：“五娘子千万莫要相信他。虽然我们相貌相同，但是我穿的是羊裘他穿的是狐裘，以此即可相辨。”话音未落就见男子的衣服变成了羊裘，而他的衣服却变作了狐裘，四季更加相信他是妖孽，和房中男子一起上前便欲击杀他。
万佳大骇之下急忙夺门而逃，串入冬松的房间。没想到他刚一进去就看也有一个穿着貂裘和自己一模一样的男子抱着冬松正喝着小酒，见到万佳进来，也说着和刚才一样的话。万佳急忙对东松说道：“我穿的是狐裘，而他穿的却是貂裘。”话音刚落就见二人的衣服又换了过来，众奴婢上前就来打穿着貂裘的万佳，他只好又狼狈而逃，来到了夏云的房前。此时万佳不敢进去，先从窗缝向屋内看去，只见一个衣着狼裘的男子正背对着自己搂着夏云看春宫图，一边看一边还评论不已。听得外面的喧闹之声，男子对夏云故作惊讶道：“你不要害怕，这定是五通淫神。听说他们善于变化，可以变作我的模样纤毫不差。此际我先和你约好，我穿的是狼裘，若是见到穿的貂裘和我一样的人就是五通神，你可以先将他诱入房中，然后我再用剑将他杀掉。你能帮助我吗？”夏云听罢点头不已，从床头将宝剑拿下交给男子。
万佳见状大惊，自是也不敢进去，于是又悄悄来到秋月房中。不料他刚一进门又见一个穿着猞猁裘和自己相貌相同的男子拥着秋月正围着火炉炒栗子，两人边吃边说笑，一见万佳进来男子便大笑道：“你是何人，敢进我的房间？”随即低头做沉思状，继而又做恍然大悟状对秋月说道：“想来这就是杀我原配的五通邪神了，如此深仇大恨我实在是忍无可忍。此际他来的正好，我正想杀他呢。”说毕便去床头娶猎网，想来罩他。万佳见状大呼道：“秋娘不要做梦了，我穿貂裘是真的。”话音未落他的衣服就和男子换了过来，万佳惊骇万分，开门便跑了出去。
这一路又跑到春花房前，还没走近就听到房中传来一阵磨刀霍霍的声音，随即听春花道：“我可不是你家正妻所能比的，不能任由五通神玷污。他若敢来我就亲自手刃了他。”万佳一听心中大骇，趴在门缝上一看，只见房内有一个衣着松鼠裘的男子正对灯抽烟，一边抽着一边对春花笑道：“美人不要害怕。我曾经打过他，知道他喜欢穿猞猁裘，若是见他到此，我们便将他抓住。”万佳一听心中怒极，口中大喝道：“春娘，你床上的是妖怪，我真万佳就在门外啊。”春花一听也怒道：“万佳是九品官员，岂是妖魅能假冒的？”房中男子也随之说道：“冒充万佳真是不可理解。你不过贪淫而已，我小妾本就甚多，你自己选择一个就是了，何必要混乱庐山真面目呢？”话音刚落春花已打开房门，手拿一把宝刀怒气冲冲地迎面劈来，万佳见状大恐，只好又跑出院子，当晚再也不敢进去，只能睡在外厅之中，此时他低头一看自己的衣服，居然又变回了羊裘。
到了第二天早晨，万佳又悄悄潜回五美房前依次窃听，只听有的说：“不要出门，其他四家都被五通神霸占了，只落下我夫妇逍遥快活岂不更好？”还有的说道：“自家丈夫还辨认不出？以至于其他四家都被五通所污，她们也太愚蠢了。”或者两人互相骂道：“妮子不知羞耻，我房中的是真夫君，你房中的才是妖魅。”冬松更伏在男子身上笑道：“怎么样？连亭亭都被五通占据了，还是老娘我待你不薄啊。”随即便听断雨零云之声不绝于耳，意态猥亵至极。万佳只听的是怒发如狂，但是又不敢进去，只好悄悄溜回大厅，仰面躺在地下。正在愤愤不已之际，忽见一个容色艳丽至极的窈窕少女来到面前，对他笑道：“她们都不认识你了，还是我和您有缘，所以特来自荐。”万佳知道这也是妖魅，于是大呼一声抓起手边的烟筒便向她打了下去，女子顿时就不知所踪了。
此时忽听屏风后有男子说道：“万佳真是太无礼了。我辈兄弟都是五通神，与你的小妾嬉戏，觉得未免冷落了你，所以才派我们的小妹前来相伴，没想到你这么不识相，居然对她如此无礼，真是妄自尊大。”万佳一听吓得全身发抖，马上跪下叩头不已，口中连称不敢。随即又问道：“你既然称作是神，可明事理吗？”神回道：“只有禽兽才不明事理。”万佳又问道：“如此说来，神既明事理，为何先将我妻强娶，此时又来霸占我的五个爱妾？”神听罢此言大笑不已，对他说道：“你可是稳戴绿头巾了。到现在你还不知以前的奸夫是谁吗？从前娶你夫人的，是假作我辈的妖魅。如你不信，你告诉我们当时他来是什么样子。”万佳一听心中大疑，于是便老老实实将从前之事一一告知。神听罢说道：“我说是假的吧。若真是我们，又会怎么如此惧怕于你？我们现在都在这里，你的刀也挂在墙上，你不妨将刀拔出试试，看我们谁怕谁？”万佳一听沮丧不已，一时间万念俱灰，唯有跪伏于地请罪不已。神又对他说道：“你若能供奉我们，我们就不会降祸于你，还可以使你致富。”万佳一听连忙点头应允，从此以后就将五位神灵虔诚的供奉起来。
过了半月，有一天晚上万佳忽然梦见从前的妻子雍氏穿着锦袍玉带珠翠满头的回来了，门外还有很多护卫和随从。雍氏一见万佳便拉着他的手哭泣道：“万郎，你怎么如此可怜啊。我所嫁给的四郎才是真的五通神，他的兄弟早年被郭孝子所斩，现在就剩他孤身一人了。虽然没有以前厉害，但是也掌管着东南一角，现在是游魂都监史，麾下士卒如云。我听说霸占你五位小妾的都是假五通神，于是便告知了四郎。四郎一直觉得对你不住，也愿为你效一些绵薄之力。明日他就会领兵前来，代你驱除妖孽，所以今天来请你暂时避其锋芒，不要留在室中了。”说毕便欲起身离去，万佳还想留住她叙叙旧，雍氏却羞怯的拒绝离开了。万佳急之下便从梦中惊醒了过来，此时耳边还似乎仍能听见车马的喧嚣之声。
他将雍氏梦中所言牢牢记住，到第二天晚上便悄悄的潜伏在东边的邻居家窥视。到了半夜时分果然听见府宅之内传来戈戟交鸣之声，四郎的叱咤声，随即又听见五个姬妾的哭泣声和婢女仆人四处乱窜的声音。忽听四郎向属下士卒说道：“这样的假五通如此横行妄为，要是能将他们全部抓住的，我都大大有赏。”随即就听到属众齐声应答。过了一盏茶的时刻，又听四郎大叫道：“跑了一个可如何是好？且先回去报与夫人再说吧。”于是就听见空中响起吹螺击鼓之声为四郎奏凯，过不多一会就寂然无声了。万佳又惊又怕，也不敢回去，一直到第二天清晨他才带了一个仆人进入宅内，只见五美房内各个姬妾婢女都躺在地下口吐白沫昏迷不醒，他急忙找来大夫一一救醒，这五个小妾一醒来就嚎啕大哭，都以为自己的丈夫被妖孽杀了，犹自执迷不悟。
万佳再去房中查看自己的金银财物，只见箱柜依旧完好，但是里面的钱财却不翼而飞了。庭外台阶下却躺着四条黑白色的小花犬，都是身首分开鲜血淋漓，想必这就是作乱的假五通神。万佳至此才恍然大悟，于是重整门庭医治五妾，过了三天众妾才逐渐清醒过来。他又在家中四处搜索一番，只剩下了一千多两银子，他不由发起愁来：这一家上下这么多口这点钱哪里够用呢？想了片刻，他忽的转忧为喜道：“我原来本是九品官，还是去做官发财吧。”于是便将剩下的这一千两银子尽数拿去贿赂给长官，长官一高兴就给他授了一个邻县县令的实缺，万佳大喜，于是便收拾行李带着全家老小到邻县上任去了。
刚刚到任的第一天他就坐着轿子前锣后鼓的游街，正在踌躇满志洋洋自得之时，忽见一阵狂风吹起，夹带着一团黑气落在轿前。黑气中伸出一只大如葵扇的巨手，一把将他的脖子抓住，随即只听空中一人大声说道：“我们五兄弟可谓待你不薄，没想到你却恩将仇报引人来杀我们。虽然我们是假五通神，但是也绝不会饶恕你的。”说毕便用大手扇万佳的脸，每扇一下声音都很清脆，万佳痛得大声喊叫，惨呼声不绝于耳，没过多久就死在了轿子里。众人眼见如此恐怖之事不由发一声喊逃了个干净，后来当地官员给报了一个暴疾身亡就草草了事了。而万家因为没有了衣食来源也是树倒狐弥散，五个小妾瓜分了剩余的家产之后都各奔东西，自此五美图也就再也不复存在了。