Автор: В декабре OpenAI представила рассуждающую модель искусственного интеллекта o3 и продемонстрировала результаты бенчмарка ARC-AGI — самого сложного теста для оценки возможностей ИИ. Теперь результаты теста пришлось пересмотреть, и выглядят они менее впечатляющими: модель оказалась слишком дорогой в обслуживании.
На минувшей неделе организация Arc Prize Foundation, ответственная за ARC-AGI, обновила свою оценку затрат на вычисления для OpenAI o3. Первоначально считалось, что её наиболее мощная конфигурация o3 high требует расходов в размере около $3000 на решение одной задачи ARC-AGI. Теперь же было установлено, что стоимость обслуживания намного выше — она, возможно, достигает $30 000 за задачу. Это иллюстрирует, насколько дорогими могут оказаться самые сложные современные модели ИИ в определённых задачах, по крайней мере, на начальном этапе. Цену на o3 компания OpenAI ещё не установила, и в общий доступ модель не поступила, но в Arc Prize Foundation предположили, что можно ориентироваться на показатели OpenAI o1-pro.
«Считаем, что o1-pro является более близким сравнением [для определения] истинной стоимости o3 <..> из-за объёма используемых во время тестирования вычислений. Но это не точная оценка, и мы оставили для o3 пометку о предварительной версии в нашей таблице лидеров, чтобы отразить неопределённость, пока не объявлена официальная цена», — рассказали в Arc Prize Foundation ресурсу TechCrunch. Известно, что при решении одной задачи o3 high использовала в 172 раза больше вычислительных ресурсов в ARC-AGI, чем o3 low — наиболее слабая модель в линейке.
Ранее стало известно, что тарифные планы на передовые системы OpenAI могут оказаться чрезвычайно дорогостоящими — до $20 000 в месяц за работу специализированных агентов ИИ. При этом моделям свойственно ошибаться: той же o3 high потребовалось 1024 попытки для решения каждой задачи теста ARC-AGI, чтобы показать лучший результат.
