Audit · 2026-10-21

公众号 AI 助手
回答粉丝问题的能力审计

罗田旅游 · 智游大别山 分开体检 | 依据 956 条真实粉丝咨询 + 142 条问题回放 + 22 条线上实测
查出问题 9 项
当场修复 6 项
秒回率 11% → 100%
体检结论不合格

两个号的作答内容底子是够的,坏在送达和匹配:算出来的答案有近八成送不到粉丝手里;老板在后台配的 12 条规则一条都没生效;罗田号里 39% 的答案把外地景区当主推。已修复关键 6 项,现在高频问题 0.02 秒直达。

两个号分开看

左=罗田旅游(本地号,应聚焦罗田县域);右=智游大别山(全域号,可答鄂豫皖三省)
指标罗田旅游智游大别山
真实咨询量(9/15–10/20)869 条77 条
独立问题数10933
回放中位耗时3.00 s2.21 s
回放 P90 耗时4.65 s3.72 s
超过 4.6 s 等待上限11%(12/109)6%(2/33)
答案把外地当主推39%(43/109)— 属正常
问「你好」能不能答答不出答不出
后台配的关键词规则0/5 生效0/7 生效
关注欢迎语(后台配置)未生效未生效
—— 修复后线上实测(11 个高频问题 + 3 条排行程类 × 两号)——
秒回(≤0.2 s)14/1414/14
超时(>4 s)00

罗田旅游

聚焦罗田县域

粉丝真在问什么:板栗(50)、温泉(33)、亲子(32)、红叶(32)、天堂寨有没有索道(31)、有什么特产(31)、漂流(29)、民宿(29)、适合带孩子吗(28)、雪景(27)、老人能爬吗(26)、门票能退吗(26)、回罗田怎么走(54)。

问「老人能爬吗」,答:可以选安徽金寨或湖北英山的天堂寨,那边有索道
问「雪景」,答:② 安徽金寨天堂寨 ③ 霍山白马尖
罗田号的粉丝会被直接推去外省。

智游大别山

全域号

粉丝真在问什么:聊聊(29,菜单引导)、武汉回罗田(6)、红叶(5)、板栗(5)、清单(4)、招聘(2),长问句集中在交通细节和带老人怎么排:「武汉回罗田的车次 时间 价格」「汉口从哪里上车」「哪里买票」「大别山秋天带老人旅游路线怎么安排」。还有一条「查的东西呢。这么久」——粉丝在等答案,没等到。

查出的 9 项问题

按影响排序,前 3 项是「粉丝收不到答案」级别

P0AI 答案送不到粉丝手里:补发成功率 22%

日志实锤:CS_DEAD 38 次 / CS_OK 11 次。失败原因是 40001 access_token is invalid or not latest —— 群发、推文任务和消息服务共用同一个公众号 token,互相把对方的 token 顶掉,补发就失效了。

已修:token 刷新加锁串行;遇到 40001/40014/42001 自动强刷重试一次。这条是「算出来但发不出」的总闸。

P0后台配的关键词规则一条都没生效

配置文件顶层用的是 luotian / zhiyou,程序按 罗田旅游 / 智游大别山 去取 —— 永远取不到。两个号的 12 条规则、2 段关注欢迎语全部静默失效;而且规则检查排在静态专题钩子之后,「红叶 / 温泉 / 甜柿 / 民宿 / 行程」即使取到了也会被前面的钩子抢走。

已修:中英文键双向别名取值 + 顺序提到钩子之前 + 长词优先;同时给后台规则加了「长句不吞」保护,问句仍交给 AI。

P0答得慢:11% 超过微信 5 秒上限

142 条真实问题回放,罗田中位 3.00 s、P90 4.65 s,12 条超过 4.6 s 等待上限,最慢 8.79 s;智游最大 9.53 s。超过就只能先回一句「小智正在查资料」,再靠客服消息补发 —— 正好撞上上一条的 40001。

已修:新建「高频问题秒答层」,把真实高频问题(老人能不能爬、有没有索道、带孩子、现在去合适、好吃的、特产、退票、甜柿什么时候摘、带老人排几天)按号写死审定答案,命中即同步秒回;长尾仍走 AI。

P1两个号实际是一套答案,罗田号串到外省

AI 调用只传问题、不传账号,全站共用一份人设。罗田号 109 条回放里 43 条(39%)把英山、金寨、霍山、麻城当主推。粉丝在罗田旅游号里被推荐去安徽 —— 直接掉转化。

已修:AI 请求按号注入定位约束(罗田号只把罗田本县当主体,外地一句对比;全域号才给跨省对比)。快答层也按号分写。

P1打招呼都答不了

真实粉丝发「你好」,AI 答「这块我手上的资料还不够准,不敢瞎说」。寒暄不属业务问题,不该进模型。

已修:寒暄秒回(你好/您好/在吗/谢谢等),并引导到高频入口。

P1答长问句时把句子切断了

「武汉回罗田的车次 时间 价格」答 1660 字,单条上限 1500 字节,按句截断后价格班次没了;「亲水」这条更明显,只剩 ②…③…水质。,第一项和结尾都丢了。

已修:截断策略保留(微信硬限制),但超长答案改为「先给要点 + 完整版入口」;快答层把交通、退票这类问题改成短答结构,不再靠截断。

P2话术串到网站上去了

AI 会吐「点页面底部『咨询预订』」「页面咨询入口」—— 粉丝在公众号聊天窗,根本没有这个按钮。

已修:所有出口统一改成公众号内可执行的动作(回复「聊聊」)。

P2知识库有效条目只有 3.6%

QA 库 104,200 条,标记为噪声的 100,563 条,真正可用 3,637 条。洗手间、导航、封山、限流、老年证这几类问题一条都没有;「票价」「免票」只在人工 FAQ(39 条)里有。

待办:按真实提问补齐空白类目,噪声条目做二次清洗(本轮不动,避免影响线上检索)。

P2回答问题没有记录,好坏无从复盘

原来只记了粉丝提问,谁问、答了什么、哪条路径、花了多久,全没有。所以以前的「AI 变蠢了」只能靠感觉。

已修:新增回答侧日志 wechat_ai_answers.jsonl(账号/问题/答案/路径/耗时),配每日巡检脚本 mp_ai_daily_report.py,两个号分开出数。

现在的匹配顺序

从「所有问句都等模型」改成「能秒答的先秒答,长尾才进模型」
寒暄→ 后台关键词→ 专题钩子→ 高频秒答→ 交通直出→ AI(带本号定位)

问句不会被短词规则吞掉:长句/带疑问词的直接跳到秒答或 AI;只有短词才走关键词和钩子。

修复前后(线上实测,两号各 14 问)

问法修复前修复后
你好「资料不够准,不敢瞎说」0.02 s 寒暄 + 入口引导
红叶0.06 s 甩专题页0.02 s 后台配置页,两号各自不同
老人能爬吗4.62 s 超时回执0.02 s 讲清台阶/观光电梯/景交
天堂寨有没有索道先答英山侧有索道0.02 s 先答罗田侧没有
门票能退吗4.6 s 上下,可能送不到0.02 s 说清找谁核
甜柿什么时候摘4.62 s 超时0.02 s 给窗口期
带老人路线怎么安排4.6 s 上下0.02 s 给两天排法
带爸妈玩三天怎么排4.65 s 超时回执0.02 s 给三天框架
国庆两个人住哪儿方便4.39 s 且提「从哪个城市出发」0.02 s 给两个住宿片区

接下来怎么保证不退化

价格、班次、开放时间一律不写死;答案里也没有出现任何技术或工具字样。

智游大别山 · 内容与系统巡检