日前，河北沧州的许先生在体验AI应用时意外撞开了一扇令人咋舌的“暗门”。他原本只是上传了一张牌九图片询问规则，千问App却十余次将其错误识别为麻将并硬核讲解规则，哪怕用户反复纠正，AI依然固执己见。这种离谱的误识别让许先生产生了测试的念头，他逐步升级指令，从输入脏话未被过滤，到输入露骨话题，结果千问App起初还能就两性问题给出科普性描述，随着指令的不断深入，竟开始生成各种不堪入目的淫秽小说情节，全程没有任何劝诫提示。发现问题后，许先生提交了截图和录屏反馈，大约两小时后，相关内容便无法再生成了。千问客服对此的回应是：已做整改，属于概率出现，不可预测，不算漏洞。
这番回应在网上炸开了锅。有网友一针见血地指出“问题出在输入指令的人身上，而不是AI”，也有人反驳“AI要是能控制自己，那它就不是AI了”。事实上，这起事件折射出的是大模型在狂奔路上必须直面的安全护栏难题。千问App作为阿里巴巴于2025年11月13日在中国启动的个人AI助手应用，标志着阿里从B端企业服务向C端用户市场的战略转型。它的成长速度堪称惊人，2025年11月17日阿里正式宣布“千问”项目，11月19日千问App便冲入App Store免费总榜前三，11月24日启用全新域名并开放Qwen3系列模型体验，包括Qwen3-Max-Thinking-Preview等十余款。到了2025年12月，千问更是以149.03%的月活增速位列全球AI应用增速榜第一。
进入2026年，千问的生态布局全面提速。1月5日语音功能全面焕新，1月8日与夸克、UC浏览器在鸿蒙生态同步发布更新，1月15日更是宣布全面接入淘宝、支付宝、淘宝闪购、飞猪、高德等阿里生态业务，同日“千问小讲堂”上线，1月26日完成与高德扫街榜的全面对接，2月2日宣布投入30亿启动专项计划。在如此迅猛的扩张势头下，AI大模型的底层安全问题显得尤为关键。客服口中的“概率出现、不可预测”，从技术逻辑上看，确实是大模型生成机制的特点，它基于概率预测下一个词，并非像传统软件那样存在明确的代码漏洞。但这绝不意味着平台可以以此作为推脱责任的挡箭牌。当AI从实验室走向千万用户的手机端，尤其是接入淘宝、支付宝这样的国民级应用时，安全底线就必须有绝对的重叠保障。
用户刻意输入违规指令去“越狱”固然反映出部分使用者的猎奇心理，但作为服务提供方，构建坚固的内容过滤网是不可推卸的责任。许先生的测试虽然极端，却为所有AI应用开发者敲响了警钟。技术的进步不能只看增速榜上的亮眼数据，更要看护栏是否稳固。对于普通用户而言，这起事件也是一次提醒，AI不是法外之地，更不是满足低俗趣味的工具，如何在享受技术红利的同时保持克制与自律，是每个人需要思考的问题。而对于AI平台来说，与其用“不可预测”来解释问题，不如把精力投入到更精准的意图识别和安全拦截中，毕竟真正的智能，不仅在于能生成多绚丽的文字，更在于懂得何时不该生成。

以上内容仅供参考和借鉴