谷歌AI搜索的AI Overview功能自推出以来就引发了用户褒贬不一的反响，虽然它极大地改变了搜索体验，将生成式AI置于核心位置，但人们很快发现该功能可能存在被利用的问题，因为它无法识别讽刺或从可疑来源获取信息[1]。在解决了诸如引用恶搞新闻网站等早期问题后，谷歌的AI Overview依然面临着所有大语言模型共有的挑战——幻觉，即生成不准确或虚假的信息。根据《纽约时报》的一项分析，AI Overview的回答正确率大约为十分之九[1]。
这个正确率意味着AI Overview的幻觉概率大约为10%。对于一家每年处理数万亿次查询的搜索引擎来说，即使只有十分之一的不准确率，也代表着每分钟会有数十万次搜索返回包含错误信息的回答[1]。这并非所有搜索都涉及非黑即白的客观事实，但这一数据足以说明即使经过显著改进，AI搜索仍然存在不可忽视的准确性问题，因此谷歌也在不断尝试通过引入Reddit等网络论坛的引用来源来丰富答案的背景，帮助用户自行判断信息的可信度[1]。
为了解决幻觉问题并提升用户体验，谷歌一方面在AI回复中为引用的来源增加更多上下文信息，比如显示创作者姓名或社区名称，让用户能更好地评估信息来源的可靠性[1]。另一方面，面对可能出现的系统性操纵风险，谷歌更新了其垃圾政策，明确将试图操纵AI回答的行为视为违规，并可能对违规网站进行降权甚至移除搜索结果的处罚[9]。这些措施共同构成了谷歌在确保AI搜索回答质量、降低用户遭遇幻觉信息可能性方面的努力方向。