我在我的编码代理中减少了80%以上的上下文开销
当你在现代AI编码代理中开始一个会话时,大量的上下文窗口会在你输入第一条消息之前就被消耗掉。在系统指令、格式规则、MCP服务器集成和数十个注册工具模式之间,大多数代理框架每次轮换都会向上下文窗口中注入10,000到25,000个以上的静态开销。在90%的轮换中,代理仅需要基本文件和Shell工具(如 read、bash、edit、write)。像浏览器自动化、图像生成、网络搜索或后台任务运行器这样的专用工具偶尔需要,有时一周只需一次。将25到80个以上的工具定义持续激活在LLM功能模式中会浪费令牌,增加延迟,并通过用无关参数污染注意空间而降低模型推理能力。我通过两个设计决策解决了这个问题:基于操作的工具整合。从第一天开始构建自定义工具,以避免CRUD模式重复。在Pi中的动态工具激活。保持4个工具处于激活状态,其他工具处于待命状态,并允许模型或用户根据需要激活工具,而不会产生任何元工具模式开销,并自动清理TTL。基准测试代理框架的零轮换上下文。为了衡量问题的规模,我测试了不同编码代理框架如何处理工具模式和上下文,通过发送一条问候语:“hi”。1. Codex:默认情况下79个工具和14.5k令牌我关闭了Codex中的所有外部插件和MCP服务器,仅保留两个自定义技能以及默认的内置配置。然后,我开始一个新的会话并发送了“hi”。模型回答了一个标准的一行问候语(“你好!我能帮你什么?”)。线程状态显示该会话已经消耗了14,534个令牌(在零轮换中上下文窗口的258k已消耗6%)。图1:发送单个“hi”后的Codex上下文消耗。在实际工作开始之前已消耗14,534个令牌。当我询问代理当前哪些工具处于活动状态并可调用时,它返回了79个活动工具。点击查看Codex中加载的79个活动工具的完整列表:apply_patch codex_app__automation_update codex_app__create_thread codex_app__fork_thread codex_app__get_handoff_status codex_app__handoff_thread codex_app__list_archived_threads codex_app__list_projects codex_app__list_threads codex_app__load_workspace_dependencies codex_app__navigate_to_codex_page codex_app__open_in_codex codex_app__read_thread codex_app__read_thread_terminal codex_app__send_message_to_thread codex_app__set_thread_archived codex_app__set_thread_pinned codex_app__set_thread_title codex_app__share_thread codex_app__wait_threads create_goal exec_command get_goal image_gen__imagegen list_available_plugins_to_install list_mcp_resource_templates list_mcp_resources mcp__codex_apps__codex_document_control_execute_document_command mcp__codex_apps__codex_document_control_get_document_tool_schemas mcp__codex_apps__codex_document_control_list_document_sessions mcp__codex_apps__plugin_management_get_app_permissions mcp__codex_apps__plugin_management_get_plugin_dependencies mcp__codex_apps__plugin_management_uninstall_app mcp__codex_apps__plugin_management_update_app_permissions mcp__codex_apps__safety_settings_get_family_info mcp__codex_apps__safety_settings_get_parental_controls mcp__codex_apps__safety_settings_get_trusted_contact mcp__codex_apps__safety_settings_prepare_parental_control_update mcp__codex_apps__safety_settings_update_parental_control mcp__codex_apps__sites_add_custom_domain mcp__codex_apps__sites_change_site_slug mcp__codex_apps__sites_create_site mcp__codex_apps__sites_create_source_repository_write_credential mcp__codex_apps__sites_deploy_private_site_version mcp__codex_apps__sites_deploy_site_version mcp__codex_apps__sites_generate_siwc_bypass_token mcp__codex_apps__sites_get_deployment_status mcp__codex_apps__sites_get_environment_variables mcp__codex_apps__sites_get_site mcp__codex_apps__sites_get_site_version mcp__codex_apps__sites_get_site_worker_logs mcp__codex_apps__sites_list_custom_domains mcp__codex_apps__sites_list_site_versions mcp__codex_apps__sites_list_sites mcp__codex_apps__sites_read_database_overview mcp__codex_apps__sites_read_database_table_rows mcp__codex_apps__sites_refresh_custom_domain_status mcp__codex_apps__sites_remove_custom_domain mcp__codex_apps__sites_save_site_version mcp__codex_apps__sites_update_environment_variables mcp__codex_apps__sites_update_site_access mcp__codex_apps__sites_update_site_metadata mcp__node_repl__js mcp__node_repl__js_add_node_module_dir mcp__node_repl__js_reset multi_agent_v1__close_agent multi_agent_v1__resume_agent multi_agent_v1__send_input multi_agent_v1__spawn_agent multi_agent_v1__wait_agent plugin_management__uninstall_plugin read_mcp_resource request_permissions request_plugin_install update_goal update_plan view_image web__run write_stdin。如果你启用仅一个或两个额外的插件,如安全扫描器或GPT应用程序,活跃...
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡