Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
Когда вы управляете сервисом с помощью AI-агента в одиночку, внезапный сбой вендорского API доставляет немало хлопот. Если 26 августа 2026 года OpenAI полностью отключит бета-эндпоинт Assistants API v1, сохраненные на сервере диалоговые треды и история выполнения просто исчезнут. Структура, при которой все состояние сессии доверяется серверу вендора, ничем не отличается от работы на пороховой бочке.
Чтобы не зависеть от платформы, необходимо перенести состояние диалога в файловую систему вашего компьютера. Гораздо безопаснее использовать LLM как сменный инструмент вычислений, а контекст диалога и промпты держать под собственным локальным контролем.
Доверяя сессии серверам таких провайдеров, как OpenAI или Anthropic, вы не имеете возможности узнать, как именно внутри сжимается и шифруется состояние диалога. При возникновении проблем проведение внутреннего аудита становится невозможным. Из-за того, что при накоплении ходов диалога каждый раз заново перерабатывается весь контекст, затраты на токен растут по квадратичной прогрессии. Расходы на Code Interpreter в размере $0.03 за сессию или на хранение File Search по цене $0.10 за 1 ГБ в месяц также незаметно истощают ваш бюджет.
| Критерий оценки | Облачная управляемая сессия (OpenAI Assistants) | Локальный автономный ханесс с файловой системой |
|---|---|---|
| Владение данными | Изолированы на сервере вендора (экспорт невозможен) | Сохраняются в локальной директории в виде JSON-файлов |
| Непрерывность сервиса | Потеря тредов при отключении API 26 августа 2026 года | Мгновенный переход на другую модель при сходе вендора с дистанции |
| Затраты на контекст | Трата токенов из-за полной переработки треда при каждом ходе | Экономия токенов за счет выборочной инъекции изменений DiffMem |
| Прозрачность отладки | Невозможность проверки из-за непрозрачного сжатия на стороне сервера | Прямая проверка процесса рассуждений по логам локального middleware |
Как отметил генеральный директор Microsoft Сатья Наделла (Satya Nadella), структура, перекладывающая управление сессиями на инфраструктуру провайдера моделей, несет в себе риски. Настоящим активом являются не сами модели, а эксклюзивный контекст диалога, принадлежащий вам. 'Поведенческая зависимость', на которую указали 76% разработчиков в опросе Docker, также возникает из-за потери контроля над этими сессиями.
Комбинация фреймворка LangGraph и кастомного чекпоинтера (Custom Checkpointer) позволяет надежно фиксировать состояние диалога в локальных JSON-файлах. При записи данных в файл используется подход атомарной записи (Atomic Write) с применением os.replace. Данные не повредятся, даже если во время работы внезапно отключится электричество или процесс будет принудительно завершен.
`python
import json
import os
from datetime import datetime
from typing import Any, Dict, List
from dataclasses import dataclass, asdict
@dataclass
class LocalSessionState:
session_id: str
model_provider: str
model_name: str
system_prompt: str
messages: List[Dict[str, Any]]
metadata: Dict[str, Any]
updated_at: str
class LocalFileCheckpointer:
def init(self, base_dir: str = "./agent_workspace/sessions"):
self.base_dir = base_dir
os.makedirs(self.base_dir, exist_ok=True)
def _get_file_path(self, session_id: str) -> str:
return os.path.join(self.base_dir, f"{session_id}.json")
def save_state(self, state: LocalSessionState) -> str:
file_path = self._get_file_path(state.session_id)
temp_path = f"{file_path}.tmp"
state.updated_at = datetime.utcnow().isoformat()
data = asdict(state)
with open(temp_path, "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False, indent=2)
os.replace(temp_path, file_path)
return file_path
`
Настроить среду резервного копирования сессий можно следующим образом:
agent_workspace, а внутри нее директории prompts/, sessions/ и logs/. Правила работы зафиксируйте в файле AGENTS.md.LocalFileCheckpointer из приведенного выше кода Python и подключите его так, чтобы при обновлении каждого шага диалога снимок экрана (snapshot) перезаписывался в JSON-файл.GitSessionVersioner, чтобы любые изменения в файлах сессий автоматически коммитились в Git.`python
import subprocess
class GitSessionVersioner:
def init(self, repo_dir: str = "./agent_workspace"):
self.repo_dir = repo_dir
self._ensure_git_repo()
def _ensure_git_repo(self):
if not os.path.exists(os.path.join(self.repo_dir, ".git")):
subprocess.run(["git", "init"], cwd=self.repo_dir, check=True)
def commit_session(self, session_id: str, commit_message: str):
file_name = f"sessions/{session_id}.json"
subprocess.run(["git", "add", file_name], cwd=self.repo_dir, check=True)
status = subprocess.run(["git", "status", "--porcelain", file_name], cwd=self.repo_dir, capture_output=True, text=True)
if status.stdout.strip():
subprocess.run(["git", "commit", "-m", f"session({session_id}): {commit_message}"], cwd=self.repo_dir, check=True)
`
Если внедрить эту структуру, то даже при удлинении цепочки диалогов вам больше не придется силой втискивать всю историю в окно контекста. Поскольку запрашиваются только измененные участки DiffMem, предотвращаются ненужные расходы токенов, а время восстановления сессий сокращается более чем на 2 часа.
Облачные API часто полностью скрывают от вас ход мысли агента и то, какие именно инструменты он вызывает. Чтобы избавиться от разочарования при отладке, настройте LiteLLM Proxy или прокси-перехватчик посередине и записывайте входящие и исходящие данные прямо в файлы. Если запустить в локальном Docker такие инструменты с открытым исходным кодом, как Langfuse или Weights & Biases Weave, вы сможете в одном месте удобно сопоставить различия между type: function в OpenAI и input_schema в Anthropic.
`python
import json
import logging
from typing import Dict, Any, Optional
class AgentLoggingMiddleware:
def init(self, log_file_path: str):
self.logger = logging.getLogger("AgentLogger")
self.logger.setLevel(logging.DEBUG)
handler = logging.FileHandler(log_file_path, encoding="utf-8")
handler.setFormatter(logging.Formatter('[%(asctime)s] [%(levelname)s] %(message)s'))
self.logger.addHandler(handler)
def on_pre_tool_execution(self, tool_name: str, tool_args: Dict[str, Any], tool_call_id: str):
log_entry = {"event": "PreToolUse", "tool_call_id": tool_call_id, "tool_name": tool_name, "arguments": tool_args}
self.logger.info(f"TOOL_CALL_INIT: {json.dumps(log_entry, ensure_ascii=False)}")
def on_post_tool_execution(self, tool_call_id: str, result: Any, error: Optional[str] = None):
log_entry = {"event": "PostToolUse", "tool_call_id": tool_call_id, "result": result, "error": error}
if error:
self.logger.error(f"TOOL_CALL_FAILED: {json.dumps(log_entry, ensure_ascii=False)}")
else:
self.logger.info(f"TOOL_CALL_SUCCESS: {json.dumps(log_entry, ensure_ascii=False)}")
`
Сбор логов выполнения осуществляется в три этапа:
AgentLoggingMiddleware в точки PreToolUse и PostToolUse цикла выполнения агента.Даже простое ведение корректных логов позволяет быстро находить причины ошибок, возникающих в аргументах инструментов. Заметно сокращаются затраты токенов API, которые раньше расходовались впустую при зацикливании.
API OpenAI передает и принимает аргументы инструментов в виде сериализованных строк JSON и выделяет роль tool отдельно. В то время как API Anthropic Messages использует распарсенные объекты-словаря и блок tool_result внутри сообщения user. Из-за различий в стандартах при прямой передаче сохраненных данных JSON в Anthropic возникает ошибка HTTP 400. Промежуточный адаптер должен приводить форматы к единому стандарту.
`python
import json
from typing import List, Dict, Any, Tuple
class CrossModelSessionAdapter:
@staticmethod
def openai_to_anthropic_format(system_prompt: str, openai_messages: List[Dict[str, Any]]) -> Tuple[str, List[Dict[str, Any]]]:
anthropic_messages = []
i = 0
while i < len(openai_messages):
msg = openai_messages[i]
role = msg.get("role")
if role == "system":
system_prompt = msg.get("content", system_prompt)
i += 1
elif role == "user":
anthropic_messages.append({"role": "user", "content": msg.get("content")})
i += 1
elif role == "assistant":
content_blocks = []
if msg.get("content"):
content_blocks.append({"type": "text", "text": msg.get("content")})
if "tool_calls" in msg and msg["tool_calls"]:
for tc in msg["tool_calls"]:
args = tc["function"]["arguments"]
parsed_args = json.loads(args) if isinstance(args, str) else args
content_blocks.append({"type": "tool_use", "id": tc["id"], "name": tc["function"]["name"], "input": parsed_args})
anthropic_messages.append({"role": "assistant", "content": content_blocks})
i += 1
elif role == "tool":
tool_results = []
while i < len(openai_messages) and openai_messages[i].get("role") == "tool":
t_msg = openai_messages[i]
tool_results.append({"type": "tool_result", "tool_use_id": t_msg.get("tool_call_id"), "content": t_msg.get("content")})
i += 1
anthropic_messages.append({"role": "user", "content": tool_results})
return system_prompt, anthropic_messages
`
Процесс миграции также прост:
sessions/{session_id}.json.CrossModelSessionAdapter, чтобы преобразовать формат OpenAI в стандарт Anthropic.`text
[System Context Injection]
Данный диалог является продолжением работы, мигрированной из предыдущей сессии (ID: sess_99812).
История сообщений содержит результаты выполнения инструментов и контекст диалога с предыдущей моделью.
Продолжайте работу с прерванного места на основе представленных результатов вызова предыдущих инструментов (tool_result).
`
Не имеет значения, если сервер определенного вендора выйдет из строя или политика сервиса внезапно изменится. Достаточно использовать несколько строк кода конвертации и переключиться на другую LLM, сохранив ход диалога на 100%. Непрерывность бизнеса разработчика-одиночки гарантируется только тогда, когда данные сессии физически находятся в вашей собственной директории.