
실제 작업으로 에이전트를 테스트하는 방법 (Harbor 사용법) - 젠더 송, 아리즈 AI
원제 · How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI
하버는 격리된 도커 환경에서 실제 데이터와 독립적인 검증기를 통해 에이전트를 테스트함으로써, 구현 방식 변경 시에도 정확성과 도구 호출 효율성을 객관적인 지표로 검증할 수 있게 지원한다.
이전 2페이지 (약 48개 비디오)

원제 · How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI
하버는 격리된 도커 환경에서 실제 데이터와 독립적인 검증기를 통해 에이전트를 테스트함으로써, 구현 방식 변경 시에도 정확성과 도구 호출 효율성을 객관적인 지표로 검증할 수 있게 지원한다.

원제 · How to Build an AI Code Review Agent - Daksh Gupta, Greptile
AI 코드 리뷰 에이전트를 직접 구축할 때는 샌드박스 환경 설정, 과거 PR 데이터셋을 통한 프롬프트 최적화, 모델 반전 기법, 그리고 작업별 최적의 모델 예산 할당이 핵심이다.

원제 · Build Your Own Team of Managed Agents - Jack Wotherspoon, Google DeepMind
구글 딥마인드의 관리형 에이전트는 단일 API 호출과 클라우드 샌드박스를 통해 인프라 관리 부담 없이 안전하고 확장 가능한 멀티 에이전트 워크플로를 구축할 수 있게 한다.

원제 · How to Build Voice Agents That Don't Fall Apart When You Interrupt - Jesse Hall, LiveKit
음성 에이전트는 단순한 챗봇이 아니라 실시간 대화 서비스이므로, 개별 모델의 리더보드가 아닌 맞춤형 시뮬레이션 벤치마크와 인간다운 지연 시간 관리를 통해 구축해야 한다.

원제 · How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI
AI 에이전트 평가는 모호한 느낌 위주의 테스트를 대체하는 객관적 품질 게이트이며, 구체적인 성공 기준과 단일 차원에서 시작해 점진적으로 확장해야 한다.

원제 · What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
AI 엔지니어는 단순한 기능 구현을 넘어 텔레메트리 데이터를 소비하고 자동으로 문제를 수정하는 상시 실행형 에이전트 루프와 평가 시스템을 구축해야 한다.

원제 · Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer
사전 필터링과 사후 필터링을 결합한 네이티브 필터링 전략을 통해 1억 개의 문서와 4억 5천만 개의 벡터 규모에서도 120밀리초 만에 권한이 적용된 검색을 수행할 수 있다.

원제 · How to Build Financial Agents That Work Across the Web - Jay Sahnan & Arik Bird, Browserbase
브라우저 에이전트와 Stagehand SDK를 결합하면 API가 없는 수천 개의 웹 포털과 복잡한 금융 사이트에서 데이터 추출 및 자동화 작업을 안정적이고 대규모로 처리할 수 있다.

원제 · Do Not Let Models Invent Numbers - Vinoo Ganesh, Kepler
케플러는 언어 모델이 직접 숫자를 쓰지 못하게 차단하고 결정론적 검색과 코드를 결합하여 10-K 및 내부 문서에서 100% 추적 가능한 금융 분석을 수행한다.

원제 · Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha
캐글과 구글 딥마인드는 기존 벤치마크의 신뢰성 문제를 해결하기 위해 실제 프로덕션 워크플로와 엄격한 검증 인프라를 도입하고 있으며, 매수 측 애널리스트 역량을 평가하는 맨데이트벤치를 통해 실무 중심의 AI 성능 검증 표준을 제시하고 있다.

원제 · AI Writes the Code. So What's Left for Engineers? - Laurie Voss, Arize AI
에이전트가 코드 작성을 사실상 공짜로 만들면서 개발의 병목 현상이 코드 작성에서 코드 리뷰와 요구사항 정의로 이동하고 있으며 모든 엔지니어는 제품 중심의 사고를 갖춘 프로덕트 엔지니어로 진화해야 한다.

원제 · Your Agent Fix Just Broke Something Else - Sofia Jakovcevic, Arize AI
에이전트의 프롬프트 변경이 다른 기능을 망가뜨리는 회귀 문제를 방지하려면, 코드 diff가 아닌 프로덕션 트레이스와 자동화된 평가 스위트를 기반으로 하는 5단계 회귀 테스트 루프를 구축해야 합니다.

원제 · How Bridgewater Turned 100 Million Documents Into an Edge - Sam Green & Aaron Linsky, Bridgewater
브리지워터는 1억 개 이상의 문서를 처리하는 내부 데이터 플랫폼 볼트를 구축하여 인간과 에이전트 모두에게 최적화된 검색과 필터링을 제공하고, 에이전트를 수동적 도구가 아닌 능동적인 투자 프로세스의 참여자로 진화시켰다.

원제 · Can AI Understand a Distressed Credit? - Harneet Kaur, Axim Intelligence
구조화된 추론 프로세스를 적용하면 서로 다른 AI 모델들이 부실채권의 미래 경로에 대한 일치된 확률적 전망으로 수렴한다.

원제 · Proving Alpha: How a Hedge Fund Measures AI's ROI - Hari Kumar, Contour Asset Management
펀더멘털 헤지펀드인 콘투어 자산운용은 애널리스트의 연구 워크플로와 외부 대체 데이터를 내부 에이전트 플랫폼으로 통합하고 라이브 A/B 테스트와 인사이트당 비용 지표를 통해 AI 투자의 ROI를 측정한다.

원제 · Inside Arca's Long-Horizon Agents That Run the Business - Aman Singh, Arca
아르카는 에이전트가 외부 신호를 인지하고 장기 메모리와 하네스를 바탕으로 비즈니스 업무를 처음부터 끝까지 스스로 이끌어가는 AI 네이티브 기업 구조를 실현하고 있다.

원제 · Real AI Agent Attacks and What Would Have Stopped Them — Andrey Rybka, Bloomberg
자율 AI 에이전트의 보안은 에이전트당 하나의 수명이 짧은 신원 부여, DNS를 포함한 아웃바운드 트래픽 기본 차단, 그리고 결정론적 브로커를 통한 도구 제어로 강화해야 한다.

원제 · Why Compute Still Trades in Group Chats — Affaan Mustafa & Alejandro Soumah Fernandez, Jump Trading
AI 연산 자원 시장은 표준화된 거래소 대신 메신저 단톡방을 통한 비공개 장외 거래 중심으로 이루어지며, 거대한 자본 조달과 하드웨어 선급금 부담이 중소 기업 성장의 주요 병목으로 작용한다.

원제 · How OpenAI Built ChatGPT for Bankers and Analysts — Joseph Kim, OpenAI
능력 오버행을 해소하기 위해 출시된 금융 서비스용 ChatGPT는 자체 호스팅 데이터와 금융 특화 템플릿을 결합하여 2027년까지 주니어 애널리스트의 워크플로를 완전히 대체할 전망이다.

원제 · Buying GPUs Should Work Like Buying Stocks — Carmen Li, Compute Exchange
GPU 조달 시장은 주식 거래와 유사한 원자재 형태로 진화했으며, 선물 곡선과 만기 구조 리스크 관리가 필수적이다.

원제 · A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
웰스파고는 트랜스포머 기반의 자체 거래 파운데이션 모델을 구축하여 기존 XGBoost 사기 탐지 모델의 한계를 극복하고 오탐률을 줄였다.

원제 · How to Let AI Agents Sign Up for Your App Safely — Isabelle Williams, WorkOS
에이전트가 앱에 안전하게 가입하고 작업을 수행하도록 하려면 AuthMD를 통한 진입 허용, IDJAG를 통한 신원 확인, 그리고 스코프가 제한된 에이전트 토큰을 통한 권한 통제가 필수적이다.

원제 · Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics
공개 벤치마크 결과에 과도하게 의존하지 말고, 실제 프로덕션 워크로드를 반영한 맞춤형 평가 하네스를 구축하여 AI 에이전트를 과학자처럼 검증해야 한다.

원제 · Why AI Startups Will Disappear Without Compute Markets — Evan Conrad, San Francisco Compute
연산 시장이 존재하지 않아 발생하는 막대한 신용 위험과 자본 병목은 3년에서 5년 뒤 모든 AI 스타트업의 생존을 위협하는 핵심 요인이다.
24장로딩 중...