文章摘要

随着AI爬虫与智能代理不断涌入新闻网站,媒体行业的内容策略正在迎来关键转折:出版商不再仅仅试图阻挡机器人访问,而是主动重构内容体系,为AI代理量身打造适配的内容形态,提前布局“代理式网络”的未来。在这一未来场景中,AI将代表用户完成决策与任务,能否在AI搜索中获得稳定曝光,成为出版商新的核心竞争点。目前已有多家头部媒体开始试验并行的、可被AI识别读取的站点版本,同时严格管控机器人抓取权限,部分机构甚至正在探索全新的网络标准。

独立出版商咨询公司Messer Media的负责人Scott Messer认为,为AI代理优化内容并非所有出版商的必选项,而是需要经过慎重评估的战略选择。他指出,在代理式网络环境中,流量本身并非核心回报——如果没有点击、广告展示或付费行为,这类优化只会带来额外成本。他反驳了“必须为AI优化内容以避免在AI生成回答中消失”的观点,强调只有当出版商确信在AI系统中被发现和引用能带来长期价值时,才值得投入资源。他还提到,严格依赖付费墙的新闻品牌与依靠广告的规模化生活方式出版商,在这一问题上的选择逻辑存在显著差异,围绕“机器人访问是否算有效流量”的哲学争论也仍在持续。

时代周刊正在将所有网页从HTML格式转换为markdown格式,这种简化格式能让AI系统和代理更高效地处理内容。传统HTML页面包含大量为人类用户和浏览器设计的布局、样式与导航信息,对AI来说存在大量冗余内容,而markdown会剥离这些无关元素,仅保留核心文本与元数据。上个月,时代周刊决定默认阻止所有AI机器人,同时创建白名单允许经过审核的机器人访问内容,被授权的机器人会被定向到markdown版本页面。该刊首席运营官Mark Howard表示,优化AI代理的内容访问体验,能够提升出版商在AI搜索中的可见度,同时强化其向品牌推广的地理洞察产品,帮助品牌在AI搜索中优化营销信息。他还提到,通过这种方式可以将机器人流量与人类用户流量分离,机器人仅能获取内容与元数据,而人类用户则会被引导至完整的页面体验。

时代周刊使用了TollBit这个面向出版商与AI公司的市场平台完成HTML到markdown的转换。TollBit称,抓取和处理大型HTML页面通常需要超过一分钟,而AI系统通过该平台获取结构化内容仅需0.25秒。不仅如此,这种方式还能降低AI系统产生幻觉的概率,因为其获取的数据更易于理解。TollBit联合创始人兼CEO Toshit Panigrahi解释称,这本质上优化了token使用成本,传统网站存在大量与内容无关的HTML标签、JavaScript与CSS,会大幅增加页面体积,而markdown能让网站对AI代理更友好,平均可减少90%的token消耗,避免AI浪费算力解析无关页面内容。

另一家头部媒体《经济学人》也在试验为AI代理提供可读的内容版本,但其策略与时代周刊有所不同:该刊仅针对付费墙外的营销文案与B2B销售材料进行适配。作为依赖订阅模式的出版商,《经济学人》需要权衡向AI代理暴露内容的收益,与可能削弱付费订阅价值的风险。

还有一家不愿具名的大型新闻出版商,正在试验Web模型上下文协议——这是谷歌与微软联合开发的网络标准。该协议旨在让网站直接向AI代理共享结构化数据,无需通过抓取或点击跳转的方式获取内容。根据谷歌官方博客,这一标准与Anthropic最初推出的MCP存在细微差异。该出版商高管表示,WebMCP不仅能提升出版商在AI搜索工具中的可见度与引用率,还能通过优化请求效率降低机器人流量带来的服务器成本,当机器人访问人类页面时,服务器需要承载完整页面加载的成本,而通过WebMCP可以让这一过程更快捷,从而节省CDN开支。此外,这种标准化的网页数据与AI系统的连接方式,还能让出版商内部的AI工具更高效地访问自身内容,优化内部与对外的AI产品体验。

法国日报《世界报》也在开展相关试验,探索如何向AI代理展示内容,同时识别这些代理是否代表付费订阅用户进行访问。

本文另有资深媒体编辑参与撰写。


塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台,致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴,你不仅可以学习众多AIGC类实战课程,获得与时俱进的AIGC技能和视野,还有机会获得长期商业合作和接单机会!点击进入:https://www.tahou.com/

AI生成内容提示:本文由人工智能辅助创作,内容仅供参考,不代表平台观点。请注意核实信息的准确性,并理性判断。

以上内容不代表本平台立场,仅供读者参考