От догадок к измерениям: оценка ИИ-агентов с Pydantic AI

Мероприятие

MLcon San Diego 2026

Дата

2–3 июня 2026 года

Город

Сан-Диего, Калифорния, США

Площадка

Hyatt Regency La Jolla at Aventine

На MLcon в Сан-Диего я рассказал об оценке качества ИИ-агентов с помощью Pydantic AI.

В центре выступления — практический вопрос: как понять, что агент действительно работает хорошо? Вместо нескольких убедительных ответов систематическая оценка даёт воспроизводимый способ проверить поведение агента и измерить, улучшают ли изменения его работу.

Основные мысли

• Определить измеримые критерии успешной работы агента.
• Оценивать ИИ-агентов с помощью Pydantic AI.
• Сравнивать результаты изменений, а не полагаться на интуицию.