Claude
Guillemot日常平凡常常利用各种AI智能体,但他发明许多智能体于完成事情后其实不会清算运行历程中孕育发生的姑且文件,致使/tmp目次下聚集了年夜量垃圾数据。为相识决这一问题,他要求Claude旗下的Fable编写一个剧本,将每一个智能体的运行沙盒断绝到/tmp下的自力子目次中,并于使命竣事后主动清算。
Fable最初建议增长逻辑代码,用来检测正于运行的智能体进程并延迟清算对于应目次,但Guillemot认为如许会让剧本变患上过在繁杂。因为剧本触及硬删除了数据这一高危害操作,Fable自行启动了匹敌性审查机制,让智能体再启动一个自身的副原来对于成果举行安全查抄。Anthropic的安全机制认为该剧本危害太高,触发了主动降级,先将模子降级到Opus 5,随落伍一步降至Opus 4.8。
恰是此次降级激发了后续的变乱。Opus 4.8于履行安全测试时,会测验考试将删除了指令的方针对于象与/tmp目次及用户家目次举行匹配,确认删除了指令不会针对于这些路径履行。体系确凿准确辨认出这些伤害方针。然而于测试代码运行竣事后,因为清算阶段与测试阶段复用了统一个变量名,原本用在测试的清算逻辑终极把用户的家目次看成测试产品一并删除了。
Guillemot虽然测验考试紧迫中断进程,但为时已经晚。更具嘲讽象征的是,AI智能体于履行完删除了操作后,/tmp目次中的姑且文件反而被完备保留下来,并未遭到波和。一些用户保举了Termaxa等容灾软件用在此类场景,但这种东西的存于自己就申明了问题的严峻性。
阐发指出,Anthropic的安全机制将模子主动降级至机能较弱的版本,极可能是变乱发生的要害因素之一。鉴在Fable 5于编程使命上的能力本就优在Opus 4.8,原本更高级另外模子也许可以或许发明测试阶段变量名复用带来的逻辑冲突,从而防止这场误删变乱。
版权所有,未经许可不患上转载
-BEATS365体育入口"/>【CNMO科技动静】AI智能体于履行使命时偏离预期甚至造成严峻后果的事务正变患上愈来愈多。开发者Sebastien Guillemot近日就遭受了一次价钱昂扬的掉误:Claude于一次清算剧本的测试历程中,误删除了了其整个家目次数据,相称在700GB的磁盘空间及一周的事情结果险些子虚乌有。
Claude
Guillemot日常平凡常常利用各种AI智能体,但他发明许多智能体于完成事情后其实不会清算运行历程中孕育发生的姑且文件,致使/tmp目次下聚集了年夜量垃圾数据。为相识决这一问题,他要求Claude旗下的Fable编写一个剧本,将每一个智能体的运行沙盒断绝到/tmp下的自力子目次中,并于使命竣事后主动清算。
Fable最初建议增长逻辑代码,用来检测正于运行的智能体进程并延迟清算对于应目次,但Guillemot认为如许会让剧本变患上过在繁杂。因为剧本触及硬删除了数据这一高危害操作,Fable自行启动了匹敌性审查机制,让智能体再启动一个自身的副原来对于成果举行安全查抄。Anthropic的安全机制认为该剧本危害太高,触发了主动降级,先将模子降级到Opus 5,随落伍一步降至Opus 4.8。
恰是此次降级激发了后续的变乱。Opus 4.8于履行安全测试时,会测验考试将删除了指令的方针对于象与/tmp目次及用户家目次举行匹配,确认删除了指令不会针对于这些路径履行。体系确凿准确辨认出这些伤害方针。然而于测试代码运行竣事后,因为清算阶段与测试阶段复用了统一个变量名,原本用在测试的清算逻辑终极把用户的家目次看成测试产品一并删除了。
Guillemot虽然测验考试紧迫中断进程,但为时已经晚。更具嘲讽象征的是,AI智能体于履行完删除了操作后,/tmp目次中的姑且文件反而被完备保留下来,并未遭到波和。一些用户保举了Termaxa等容灾软件用在此类场景,但这种东西的存于自己就申明了问题的严峻性。
阐发指出,Anthropic的安全机制将模子主动降级至机能较弱的版本,极可能是变乱发生的要害因素之一。鉴在Fable 5于编程使命上的能力本就优在Opus 4.8,原本更高级另外模子也许可以或许发明测试阶段变量名复用带来的逻辑冲突,从而防止这场误删变乱。
版权所有,未经许可不患上转载
-BEATS365体育入口