Новости отрасли

Microsoft недавно выпустила облегченную модель искусственного интеллекта под названием Phi-3 Mini, которая предназначена для работы на смартфонах и других локальных устройствах. Модель с 3,8 миллиардами параметров — первая из трёх языковых моделей Phi-3, выпущенных Microsoft. Цель состоит в том, чтобы предоставить более доступную альтернативу облачным моделям больших языков, сделав технологию искусственного интеллекта доступной для небольших организаций.

Microsoft заявляет, что Phi-3 Mini легко превосходит предыдущие мини-модели Phi-2 и находится на одном уровне с более крупными моделями, такими как Llama 2. Удивительно, но скорость реагирования этой новой модели близка к скорости реагирования моделей, размер которых в 10 раз превышает размер модели Phi-3 Mini. параметры.

В своей статье исследовательская группа отмечает, что ключ к этому нововведению лежит в используемом ими наборе обучающих данных. Набор данных основан на модели Phi-2, но включает в себя «тщательно отфильтрованные сетевые данные и синтетические данные». Этот уникальный способ построения наборов данных вдохновлен детскими книгами, в которых для иллюстрации сложных тем используется более простой язык, что фактически позволяет более эффективным языковым моделям меньшего размера.

Хотя Phi-3 Mini, возможно, не сможет в некоторых отношениях конкурировать с облачными моделями большого языка, он продемонстрировал превосходство над Phi-2 и другими моделями малого языка (например, Mistral, Gemma, Llama-3-In) в выполнении задач. начиная от математики и заканчивая программированием и академическим тестированием. Более того, эта модель может работать на таком простом устройстве, как смартфон, и не требует подключения к Интернету.

Однако основным ограничением Phi-3 Mini является широта «фактических знаний», что в основном связано с относительно небольшим набором обучающих данных. В результате он не очень хорошо показал себя в тесте TriviaQA. Тем не менее, это большой шаг вперед для моделей, которым необходимо работать только с небольшими внутренними наборами данных. Microsoft надеется, что благодаря внедрению такой модели технология искусственного интеллекта станет доступной для компаний, которые не могут позволить себе подключение к большой языковой модели в облаке.

В настоящее время Phi-3 Mini уже доступен на таких платформах, как Azure, Hugging Face и Ollama. Microsoft также планирует выпустить более мощные модели Phi-3 Small и Phi-3 Medium с 7 миллиардами и 14 миллиардами параметров соответственно.