Toloka

Toloka (юрлицо Toloka AI BV) — международный поставщик экспертно подготовленных данных для обучения и оценки AI-моделей, LLM и автономных агентов. Компания основана в 2014 году (основатель и CEO — Ольга Мегорская) и выросла из краудсорсинговой платформы разметки в поставщика данных под ключ для frontier-лабораторий и крупных tech-компаний. Штаб-квартира — в Амстердаме (Нидерланды); офисы также в США, Израиле, Швейцарии и Сербии.

Что делает Toloka

Toloka работает в формате managed service и закрывает полный цикл подготовки данных:

• Обучающие датасеты (SFT) — генерация демонстраций для supervised fine-tuning;
• Предпочтения для RLHF/DPO — сбор человеческих предпочтений для обучения с подкреплением;
• Оценка и RL — авто-верифицируемые задачи для evaluation и RL-обучения;
• Human evaluation и red-teaming — кастомная оценка моделей и поиск уязвимостей;
• Генерация окружений — контекстно-насыщенные симулированные среды для обучения и оценки агентов.

Данные готовятся для разных типов агентов — диалоговых, корпоративных ассистентов, deep-research, computer-use, кодовых copilot и OS-агентов — и для любого типа контента: текст, изображения, аудио, видео.

Экспертная сеть и качество

Данные производит сеть из 6000+ активных участников из 100+ стран, говорящих на 40+ языках; заявлено 90+ доменов экспертизы и 70%+ участников с учёными степенями. Контроль качества строится на собственной методологии: пост-верификация, динамические перекрытия, кросс-валидация и golden sets, плюс 50+ методов автоматического контроля качества и 60+ методов антифрода уровня платформы. Набор экспертов под проекты ведётся через отдельную платформу Mindrift.ai.

Toloka Arena — независимая оценка агентов

Toloka Arena — публичный лидерборд независимой оценки «агентного интеллекта»: модели тестируются на приватных, незагрязнённых задачах по методологии, вдохновлённой τ-bench (Sierra, 2024). Основная метрика — pass^5 (вероятность, что все 5 независимых прогонов задачи успешны). Наборы RL- и evaluation-данных, на которых построен лидерборд, доступны для лицензирования.

Инфраструктура и безопасность

Базовая инфраструктура — Microsoft Azure, с опциями приватного и on-premise хранения данных, гео-резервированием и планами обеспечения непрерывности бизнеса. Платформа сертифицирована по SOC 2 Type II, ISO/IEC 27001 и ISO/IEC 27701, соответствует GDPR, CCPA и HIPAA. Действует программа bug bounty; вопросы безопасности — на security@toloka.ai.

Клиенты и условия

По данным компании, среди клиентов — Anthropic, Amazon и Microsoft; раунд инвестиций в Toloka возглавил Джефф Безос (основатель Amazon). Публичных тарифов у Toloka нет — работа начинается с обращения к команде через форму «Talk to an expert».