掌握PG电子最新动态
我们提供专业、权威的游戏攻略,助您轻松提升游戏技巧。
AI安全公司Anthropic公布了一套旨在评估AI“越狱”行为严重程度的框架,名为CJS(Cyber Jailbreak Severity)。此举伴随着其对AI输入请求进行拦截的策略更新,将网络安全相关的请求划分为四类,并可能导致正常请求被误判。
例如,一位用户仅仅是询问单词“raspberry”中字母“r”的数量,其请求就被从Fable 5降级至Opus 4.8。另一位哈佛生物统计学家Kareem Carr因提及自己的专业领域,也遭遇了类似情况,并在社交媒体上表达了不满。
Anthropic发布的CJS框架旨在为AI“越狱”行为提供一个量化的评估标准,以决定模型的处理方式。该框架包含四个评估维度:能力增益(0-4分),衡量越狱行为为攻击者带来的能力提升;能力广度(0-2分),评估其影响范围;武器化难度(0-2分),判断将越狱转化为实际攻击的难易程度;以及可发现性(0-2分),考察发现该越狱的容易程度。这四个维度的得分叠加,形成0至10的总分,对应五个CJS等级,从CJS-0(信息性事件)到CJS-4(最高风险)。
此外,CJS框架还规定,初始得分可以被调整,但只能向上叠加,这意味着即使单个越狱行为得分不高,与其他风险结合后也可能被提升评级。该框架会根据技术发展的不同历史阶段,对同一漏洞的风险评级进行动态调整,其核心在于评估特定“越狱”技术在特定时间点所能产生的“增量破坏力”。
CJS框架的推出,标志着Anthropic及其领导的Glasswing联盟(包括AWS、Apple、Google、Microsoft等12家科技公司,总投资1.04亿美元)试图在AI安全领域建立一套行业标准。该框架被视为Anthropic试图在AI安全领域掌握话语权,并为监管机构提供量化评估工具,以决定何时需要采取更严厉的措施,如暂停模型服务。
此前,美国政府曾对Fable 5和Mythos 5实施出口管制,限制了外国公民的访问,这是美国首次直接针对AI模型API进行管制。在禁令解除后,Fable 5的访问受到更严格的安全审查,而Mythos 5则被用于特定合作机构,展现了技术分层和按许可发放的出口管制模式。
面对Anthropic和美国政府的“模型铁幕”,用户在与AI互动时,需要更加谨慎地措辞,避免使用可能被视为高风险的词汇。同时,用户应留意AI回答质量的突然下降,这可能意味着请求已被降级,需要重新调整表达方式。Anthropic承诺将优化其安全措施,但并未提供具体时间表。分类器决定了当前可用的AI能力,而CJS框架则定义了未来的安全界限,这表明AI能力的使用正面临日益严格的技术和监管限制。
我们提供专业、权威的游戏攻略,助您轻松提升游戏技巧。
玩家讨论 (3)