单说旧时，有个叫孙百仁的书生，早年屡试不第，绝了入仕之念，娶妻生子，靠祖上留下的百余亩薄田收租为生。虽说胸中墨少，却素喜书画对弈，近来，县关护城河岸边，总有一个老道摆棋，孙百仁整日来此消遣。
这一俗一道，熟稔起来，渐而无话不谈。
一日，对弈之后，两人和棋，相谈半晌，已是薄暮，孙百仁不想返家见黄脸婆娘，老道就说：“你既不愿回去，不妨和贫道一并回山中道观，对床夜谈，岂不妙哉。”
孙百仁拍手答应。
老道住在城外桃山深处一座小道观，领着孙百仁入观后，香茗敬上，孙百仁见道观壁上绘有数幅画，内蕴深厚，不似凡人所作，啧啧称奇。问是谁画的。老道哪里知道，只说这道观由来已久，打他记事时，便有这些壁画。
孙百仁越发惊讶，久久不语，垂手探脑，欣赏画里乾坤。
老道不懂画工流派，见状，捻须一笑，说道：“师父临终时还留下了一个画匣子，里面有幅长轴画卷，贫道也看不出个好坏，只是师父吩咐该物不可落入俗世，不然，贫道早送你了。”
孙百仁闻言，便央求老道展示画匣，饱饱眼福。
老道正有炫耀之心，床底拉出一个大木箱，拂去蒙尘，打开铜锁，但见里面有一幅画卷，老道缓缓打开，给孙百仁看。
落款是一个叫做空空道人所作，名为《百罴图》，内容怪诞无比。在一丈余长的画卷上，大大小小画了一百只罴，形态各异，却也丝毫不显拥挤，令人匪解的是，这些罴熊俱是穿衣戴帽，仿佛市井走卒小贩，孙百仁边看边赞叹，单论画工，世间罕见。
后来，两人又摆盘对弈，因孙百仁心里惦记这《百罴图》，落子乱了法章，不多时就输了。和老道又谈至深夜，旁敲侧击，老道语中透露，定然遵循师父遗训，不会让这画落入花花世界。孙百仁和衣而睡，眼前俱是大小罴熊飞舞，辗转难眠，听到老道的打酣声渐入佳境，孙百仁蹑手蹑脚起榻，趁着月光，瞧见《百罴图》还在案几上，于是拎了画卷，窜出道观。
刚走了几十步，却听得后面脚步声急促，老道追出来了，嘴上还说：“道友留步，这幅画蹊跷得很，万不可带下山去。”
孙百仁贪画心切，哪里肯听，腿劲加大，老道追得更紧，毕竟山道崎岖，孙百仁还是被撵上，越发急躁，猛地一推，把老道推到崖下，深不见底，料想是活不成了。
是时，夜静更深，又是山中，并无他人，孙百仁长出一口气，三步作两步，下了山。
晨曦未现，已在山脚下，他若无其事一般，返家。
妻儿问他昨夜去了哪里，孙百仁随意扯个谎，说和一个老朋友谈得晚了，就在人家府上住了一宿，妻子并不生疑。
孙百仁草草吃过饭，把那幅画卷展开，细细欣赏，越瞧越爱，就将它挂在卧房墙上，无论睡觉还是起床，第一眼和最后一眼，看到的总是这《百罴图》。
忽一夜，雷雨交加，孙百仁听到异响，翻身一瞧，正好闪电落下，点亮周遭，《百罴图》上的众罴，似乎活了一般，喧嚣声起。孙百仁还没来及下榻，这画陡然增大万倍，把他纳入其中。
孙百仁顿觉头昏目眩，好似风中微尘，许久，才定下身形。所站之地，竟不是卧房，而是一处山林，身边有两三只罴熊正歪着头，盯着他瞧。这罴熊一个个穿衣直行，若无附身皮毛，真似人一般。
孙百仁大惊，掐掐手臂，亦有痛楚，不是做梦。
世间真有人罴之说？瞅着越来越多的人罴围了上来，孙百仁骇破肝胆，拼命逃窜，足足狂奔两个时辰，却又回到了原地。
罴群里，有个年老的，似是叹了口气，冲孙百仁摆摆爪子，口吐人言：“莫怕，莫怕”。
孙百仁颓然瘫地，昏了过去。
再度醒来，发现几只熊罴的关切目光，其中一只，用瓢端来山泉，对孙百仁说道：“喝，喝。”
孙百仁饮了两口，暗想：“这人罴似没有害我之心，我得打听一下，这地方是哪里。”
于是，试图和人罴交流，人罴并不能快意表达，每次，只能简单说几个词。
耗了整整一日，才知道这群罴熊，处处学人。此地就叫罴园，方圆数十里，远在红尘之外，与凡间井水不犯河水，那个建造罴园的人，早已作古，但这些人罴颇怀念旧人之恩，每日仿人。
孙百仁暗暗称奇，难怪那幅《百罴图》如此栩栩如生，该是作者来过这罴园。
做为罴园唯一人类，孙百仁倍受众罴爱戴，尊为上客。孙百仁表面与它们和气相处，心里每时每刻打主意：若把人罴带到凡世，卖于贵人，绝对值大价钱，这人罴有灵性，学人言行，世间罕有。
众罴哪知孙百仁心思，只是每日将采摘来的果瓜，毕恭毕敬的奉上，视其为贵宾。
约一年光阴过去。
孙百仁已经打听到出罴园的方法，罴园外边，乃是云涛雾山，纵身一跳，就能回到人间，因人罴体形庞大，他便打起了两只小罴仔的主意，这小罴比人类婴孩大不了多少，断奶不久，也是巧了，正好一公一母。
近来，他都和这对小罴讲人间之事，夸口凡尘是花花乐土，小罴似懂非懂，整夜和他吃喝拉撒在一块。孙百仁伺机而动。
这日深夜，寻个机会，一手一个，抱着这对小罴仔，一刻不停，来到罴园地界，脚下云海滔滔，这一公一母两只小罴，十分亢奋，嘴里还叫道：“下去，下去。”
孙百仁嘿嘿一笑，喜极而泣，痛快的流下了几滴眼泪。整整一年了，自己委曲求全，和这帮畜生在一块，身陷囹圄一般，如今终于要重回凡间。抱紧罴仔，纵身一跳，耳边生风，不知过了多久，两脚触地。
定晴一瞧，发觉自己正在卧房，背对着那幅《百罴图》，恍恍然如大梦一场，怀里一对罴仔，酣然而眠，此时东方甫白，妻子还在榻上睡着，窗外是一幅雨霁景象。
他霎时明白，自己竟在闪电雷鸣之夜，身陷《百罴图》里，罴园一年，凡间刚刚过了一夜。再数数画中众罴，果然少了两只！
“该着我发达了！”看着怀里双罴，孙百仁难掩狂喜，这对罴仔，一公一母，到时，又可下仔……每只罴仔卖不到千两银子，我孙百仁的名字倒着写！
此后，将这对罴仔养在笼中。
妻儿起初也颇觉稀罕，整日围着罴仔打转，没过两日，就索然无味，说这对罴仔又蠢又笨。
孙百仁说道：“一个黄脸婆娘，一个黄口小儿，你们知道什么！它们可是会说人话的呢。”逗罴仔说话，哪知这对罴仔似失了灵性一般，只是瞪着眼，嘴里嗷嗷乱叫，对盆里的食物也只是嗅嗅，压根不吃。
孙百仁一拍脑袋，豁然开朗道：“哎呀，这些畜生在罴园里，专食瓜果山泉，不沾五谷浊气，眼下自然是水土服。”不敢怠慢，毕竟这对罴仔于他而言，是不折不扣的财神爷。
于是，特意去集市购买鲜果，饲喂罴仔。
本来家境就一般，底子不厚，这罴仔一日日长大，食量大得惊人，撑不了多久，孙百仁就捉襟见肘了，妻子整日哭啼吵闹，说他害了魔怔，对这畜生比待亲爹还好哩。孙百仁骂她无知，坚持说这罴仔会说人话。
东西四邻，谁也不信孙百仁。
如此捱了半载，罴仔变得跟猪一般大小。孙百仁每日与它们说话，也是奇怪，自从到凡间后，这罴仔竟再也没有说过一句人话。
这日，孙百仁气恼无比，挥鞭抽打双罴，嘴里骂道：“这蠢物笨畜，整日除了吃就是睡，话也不讲一句，养你们何用！”结果一个不留神，被其中一只罴咬住手背，深可见骨，敷药之后，不见好转，继而整个手臂都乌黑发紫，竟是秽毒攻心之兆。
孙百仁想破脑袋，也是不解，为何这畜生在罴园人模人样的，到了凡间后，就蠢如猪狗呢？
这日，儿子乡塾归来，孙百仁奄奄一息，卧在病榻上，问儿子，今日先生教了什么。
儿子说道：“先生讲了一个故事，叫淮南为橘，淮北为枳。”
一句话点醒梦中人，孙百仁脑袋嗡的一下，彻骨生寒，不由得喃喃自语：“南橘北枳，南橘北枳……”忽地，“哇”的吐出一口老血，绝气而亡。
当日，笼中双罴，逃之夭夭。
遗孀再嫁，那幅《百罴图》本来要付之一炬，巧被一乡绅看到，越瞧越爱，问多少钱卖，婆娘气不打一处来，开口要一千两银子，谁知对方竟答应了。
后有好事者，点了点画中罴数，不多不少，正好百只。