据《玄怪录》载，张老是扬州六合人，经营菜园子为生，勤劳俭朴，小日子过得也算凑合。南朝梁武帝天监年间，扬州府衙幕僚、扬州六合人韦恕从任上返回故里，隐居清修。韦恕膝下只有一女，到了成婚的年纪，韦恕找来当地一位有名气的媒婆，请她帮忙为女儿找个好人家。
张老听到这个消息，眉开眼笑，专门守在韦府门外。媒婆出来后，张老一把拉住她，非要请她到家中喝酒。媒婆盛情难却，只好从命。两人来到张老的菜园，张老殷勤备至，早准备好了酒肉果蔬，媒婆也不客气，坐下就胡吃海塞起来。酒至半酣，张老赔笑道：“听说韦家要嫁女儿，我虽然老迈，但经营这菜园子多年，颇有家资，请您去跟韦大人说说，把他女儿嫁给我吧。”
听到此话，媒婆差点儿没把吃的东西吐出来，一拍桌子，骂他癞蛤蟆想吃天鹅肉。张老也不生气，只憨憨一笑。
几天后，张老再次找到媒婆，仍说非韦小姐不娶。媒婆无奈，看张老一脸诚恳，只得没好气地提醒他：“你这老头子太自不量力了，哪有书香门第、官宦人家的千金小姐嫁给种菜的糟老头子的？没错，韦大人清廉自守，家境不富裕，可你知道吗，多少贵公子都排着队求娶韦小姐呢！你别再自取其辱了。”张老说：“就求您跟韦大人说一下，要真不答应就算了，我绝不再为难你。”
媒婆毕竟吃了人家的酒席，没办法，只得答应为他传句话。媒婆将此事告诉了韦恕，谁知话没说完，韦恕已勃然大怒：“你这老太婆居然看不起我，我就是再穷也不能把女儿嫁给一个卖菜的老头子！”媒婆吓坏了，赶紧赔礼道歉：“都怪那个糟老头子，非逼我传话！”韦恕顺口道：“他不是有钱吗？你去告诉他，想娶我女儿除非拿500缗钱做聘礼，也不看看自己的德行！”
媒婆一听乐了，这下好了，回去告诉那老头儿，还不得把他吓死。不料，张老听到这个数字，居然满口答应，不一会儿，就推着车子载着满满一车钱到了韦府。韦恕傻眼了，但一言既出驷马难追，踌躇半天，只好硬着头皮对女儿说明情况。没料想，韦小姐也没什么怨言，很冷静地答应了婚事。韦恕不禁惊呼难道这是天意！
张老就这么娶了如花似玉的韦小姐，老夫少妻，谁见了都别扭，但两口子倒觉得没什么。张老依旧照料菜园子，施肥锄草，剪枝浇水，收菜卖菜，忙得不亦乐乎。韦小姐在旁协助，毫无愧色。韦家亲朋好友很厌恶他们，经常责怪韦恕：“大人清廉，可君子固穷，怎么能纡尊降贵，把千金小姐嫁给一个老头子？现在木已成舟，的确是没办法了，可你能不能让他们两口子走得远远的，你不嫌丢人，我们还嫌丢人啊！”
韦恕也是心煩意乱，于是准备了酒菜，请张老和女儿来吃饭。席间，韦恕微露其意。张老起身敬酒，道：“我夫妻二人一直没离开这儿，就是担心岳父大人疼爱小姐，不忍她远行。现在既然您也有这想法，我们明天就离开，我在王屋山下有一处宅子，正好搬到那儿居住。岳父大人要是思念小姐，可让大舅哥去天坛山南边的张家庄找我们。”
第二天，张老搀扶妻子坐到驴上，给她压低斗笠帽檐，自己拄着拐杖跟在后面，黯然离去。韦恕目送，心中很不是滋味。
此后数年，女儿、女婿音讯全无，韦恕哀叹不已，想着女儿命苦，嫁了个老头子，还要搬到山里住，不定如何蓬头垢面，满面烟尘呢。一日，韦恕实在放心不下，就派大儿子韦义方前去探望。
韦义方一路风餐露宿，终于来到天坛山南麓，遇见一个昆仑奴（从东南亚一带来的仆役）驾黄牛在田地里耕种。韦义方问附近有没有叫张家庄的地方，昆仑奴好像认识韦义方，赶紧行礼，道：“大郎好久不见了，主人的庄子就在前面，我带你去。”于是，昆仑奴放下手边的活儿，带着韦义方一路东行，翻过一座座山，进入一座豪宅。韦义方看到眼前的景象，不禁瞠目结舌，只见花木繁盛，云蒸霞蔚，亭台楼阁样样俱全，鸾鸟孔雀飞翔其间。
韦义方来到中厅，见屋内陈设雅致，古色古香，门房小厮都穿着红色衣服，衣饰鲜亮，态度谦恭。忽然，环佩叮当，两个青衣丫鬟出来迎接，笑道：“大郎，请随我等前行！”韦义方紧随其后，小心翼翼地走着，见回廊两侧侍立着十几个青衣丫鬟，都有倾国倾城之貌。不一会儿，一位器宇轩昂的青年男子出来，头戴远游冠，身穿紫锦袍，足踏冲天履。韦义方仔细查看，吃了一惊，这人与张老眉目相仿，容貌伟岸，显然张老已返老还童。
张老笑道：“人世间劳苦异常，于是我就和令妹隐居此地，躲避世俗烦恼。大哥稍等片刻，令妹在梳头，一会儿就出来了。”韦义方支支吾吾，紧张得说不出话来。不一会儿，韦小姐娉婷而出，姿容又胜于前，服饰之盛，难以言表。兄妹二人寒暄片刻，韦义方这才放松了几分。四处张望，见其大堂是沉香木做的大梁，玳瑁装饰门框，碧玉做成窗户，珍珠串做帘幕，台阶平滑如镜，都呈碧绿色。总之景象奢华，非人间所能有。
兄妹之间有天壤之别，寒暄几句也就无话。不一会儿，酒宴准备好了，张老夫妻请韦义方入席。满桌珍馐美味，不可名状。酒足饭饱之后，丫鬟服侍韦义方到内厅歇息。
第二天一大早，张老就来跟韦义方聊天。片刻后，一个青衣丫鬟凑到张老耳边嘀咕，张老听后笑着对韦义方说：“我妹妹想去蓬莱山玩儿，令妹也要跟着去，恐怕晚上才能回来，大哥可在此休息。”说罢，张老离开。韦义方好奇，也就跟了出去。见庭院中忽然腾起五色祥云，鸾凤在空中飞舞，张老和韦小姐各乘一只凤凰，其余的几十人乘仙鹤，徐徐飞上半空，往东而行，渐渐消失在天际。韦义方羡慕不已，感慨万千。
到了傍晚时分，张老和韦小姐已回来，连连道歉：“独居在这儿很是寂寞，可是这神仙府邸，不是凡俗人久留之地，大哥命中注定有此福缘，但也不能在这儿待太久了，明天我们就得道别了。”韦义方很是遗憾，但也无可奈何。张老拿出20镒黄金和一个旧斗笠，交给韦义方，道：“这些金子聊作盘缠，如果将来缺钱，可以拿着这个斗笠到扬州北门卖药的王老家取1000万贯钱，他见了斗笠，自然会给你的。”韦义方拜别，还由那个昆仑奴送出去。
韦义方满载而归，详述见闻，一家人都沸腾了。亲朋好友也很快知道了，羡慕嫉妒恨的人都有，有说张老是神仙的，有说是妖怪的，不一而足。韦恕一家也不以为意。五六年后，一家人坐吃山空，就想拿斗笠去扬州取钱，又担心不靠谱。邻居说：“没有字据，就凭一个破斗笠就能取那么多钱，真是笑话！”韦恕也不由点头称是。但后来，日子实在过不下去了，韦恕叫来韦义方，催着他去取钱。
韦义方夹着斗笠前去扬州，找到王家药铺，说了换钱的事，王老说得看看斗笠是真是假。这时，药铺的一个小姑娘道：“张老以前来过这儿，帽顶坏了，让我缝，当时没有黑线，我是用红线缝的，我的手艺，一看便知。”小姑娘拿着斗笠仔细查看，说果然是真的，于是，令人用车满载铜钱送到了韦家。韦家满心欢喜，街坊邻里这才相信张老是神仙。
后来，韦恕又思念女儿，再让韦义方去天坛山寻访。韦义方故地重游，却一点也记不清路径，只见峰峦叠嶂，山水千万，处处陌生。韦义方问山里的樵夫，没人听说过什么张家庄，韦义方只得悻悻而归。韦恕明白，仙俗疏途，女儿当初并未以貌取人，这才进入仙界，而自己毕竟是凡夫俗子，能有如此女婿，已是万幸。