在过去几个月里,Anthropic的代码合并速度呈现飞速增长,从5月的每日约2500次上升至9月的超过3万次,短短四个月里增长了12倍。这一增长主要得益于AI Coding Agent Claude的贡献,能够独立修改代码和优化程序,甚至从头构建服务。然而,这种代码生成的速度超出了原有的开发基础设施,尤其是Git的处理能力。
目前,Anthropic的单体代码仓库已经接近100GB,而压缩后的工作副本超过25GB,每天需要约2500万次代码检出。如果采用传统的Git数据处理方式,可能会产生超过600PB的数据传输需求。尽管Anthropic曾尝试了多种优化措施,例如Git浅克隆和稀疏检出等,随着代码合并量的进一步上升,这些方法逐渐无法支撑。
面对这一挑战,Anthropic做出了重新开发版本控制系统的决定。10月13日,该公司在官方博客上宣布,利用仅有的7名工程师,在五个月内打造了名为Scion的新系统,并成功进行整体迁移。同时,他们还开发了代码审查工具Antique以及其他基础设施。 rb88在线娱乐
迁移后,Scion的CPU与内存占用大幅降低,至原Git方案的约1/200,CI和研究任务的代码检出速度提升近百倍,仅CI便节省了约25%的CPU资源。令人关注的是,Claude不仅是造成基础设施承压的主要因素,还是推动系统改造的重要工具。
Anthropic的Git面临的挑战主要源于其分布式设计。尽管这种设计对大多数软件项目来说十分成功,但在面临庞大仓库和频繁操作时,传统Git的局限性显现。随着工作负载的变化,Anthropic意识到必须重新评估每个客户端独立处理完整仓库历史的必要性,特别是在大多数操作均由在线Agent和自动化任务完成的情况下。
为了应对这些挑战,Anthropic开发了Scion,采用在线客户端-服务器架构,将大部分版本控制工作放在服务器端,令客户端主要处理有限的本地缓存和文件监控。这种设计不仅简化了流程,也通过API使版本控制能力能直接与其他系统连接。 rb88在线娱乐