Поделиться
Дефицит графических ускорителей заставил бизнес сменить тактику для ИИ
Активный рост интереса к искусственному интеллекту привел к повышению спроса на специализированное оборудование. Предприятия буквально сметают вычислительные ресурсы с рынка, вызывая дефицит мощностей и резкое увеличение стоимости аренды оборудования в центрах обработки данных (ЦОД). Серверные фермы перегружены, цены на аренду инфраструктуры растут. Особенно остро эта проблема касается аппаратуры с графическими процессорами (GPU), которые нужны для эффективного обучения ИИ-моделей. Такие видеокарты стали практически недоступны для приобретения. А создание собственных центров хранения и обработки данных достаточно затратное решение, доступное лишь немногим компаниям. О способах решения проблемы рассказал Дмитрий Мельников, генеральный директор Inventive DLM (входит в Inventive Retail Group).
Как используют генеративные модели в России
Формирование распределенных вычислительных кластеров сегодня является одним из перспективных направлений. Технология позволяет объединить вычислительные ресурсы множества небольших серверов и ПК в единую инфраструктуру. Это обеспечивает производительность, но при меньших затратах на электроэнергию и обслуживание.
Решение становится альтернативой традиционным серверам с дорогостоящими видеокартами, что позволяет сократить затраты на инфраструктуру и повысить энергоэффективность.
В России рынок генеративных моделей вырос в пять раз и к концу 2025 года достиг 58 млрд рублей. По данным Inventive DLM (входит в Inventive Retail Group), большие языковые модели (LLM,Large Language Models) активно внедряют в финтехе (33%), ритейле (25%) и разработке (41%) для автоматизации рутины и экономии ресурсов. Крупные компании тестируют модели для клиентского сервиса — ожидается до 80-100% автоматизации сценариев к концу 2026 года.
Из-за требований безопасности и конфиденциальности данных на российском рынке доминируют LLM и решения генеративного ИИ в контуре предприятия , в то время как облачные сервисы растут в B2C и SMB сегментах.
Какие задачи решают большие языковые модели
Частные пользователи обращаются к большим языковым моделям за советом по планированию и за помощью при создании текстов. Некоторым людям модель заменяет поисковик для получения быстрых ответов, позволяет генерировать идеи и обучаться новому.
В корпоративной среде LLM чаще всего используется для генерации контента, кода, проверки кода, умного поиска по базам данных, чат-ботов и голосовых ассистентов для клиентских сервисов, а также для речевой аналитики. Это позволяет ускорить обработку документации в среднем на 70%, повысить производительность процессов на 40% и снизить операционные ошибки на 30%.
Менеджеры быстрее отвечают на вопросы клиентов — время сокращается с минут до нескольких секунд, и тратят меньше ресурсов на выполнение рутинных задач.
Многие компании устали работать с разрозненными данными: что-то хранится в документах ВНД, что-то в базе знаний, что-то решается в мессенджерах. Кроме этого, у разработчиков уходит много времени на генерацию, рефакторинг, поиск дефектов и их отладку. Еще бывают сложности с адаптацией новых сотрудников и коммуникацией с клиентами в онлайне. Поэтому спрос на LLM будет только расти.
LLM в комплексе с Apple под управлением отечественного ПО
Это простой и надежный Apple Mac mini с готовым набором языковых моделей, которые можно загружать и переустанавливать через удобный интерфейс Ринго MDM (Mobile Device Management) — российское решение для администрирования macOS и iOS в корпоративной среде. Автоматизирует и оптимизирует управление оборудованием, настройку, установку и обновление ПО.
В корпоративной среде с агентами и MCP (Model Context Protocol) можно работать с использованием рабочих станций или ноутбуков на Windows или Linux ОС. MCP — это открытый стандарт, обеспечивающий унифицированный обмен данными между ИИ-моделями и внешними инструментами и источниками данных. Единый интерфейс обеспечивает комфортное использование инструмента и сокращает время на адаптацию новых сотрудников.
Чувствительную информацию от несанкционированного распространения и утечек данных защитит ограничение возможности передачи файлов и документов в сторонние облачные хранилища. Автоматизированная система будет оперативно выявлять попытки неправомерного использования данных и принимать меры реагирования до наступления негативных последствий.
Результат внедрения LLM в комплексе с Apple Mac Mini или Apple Mac Studio под управлением ПО Ринго MDM:
- централизованное и управляемое развертывание локальных моделей без необходимости ручной установки каждым разработчиком;
- единый интерфейс управления через Ринго MDM;
- снижение требований к пользовательским устройствам разработчиков;
- возможность использовать локальные модели без передачи корпоративных документов и чувствительных данных во внешние облака;
- унификация среды, контроль конфигурации и повторяемость развертывания;
- быстрый запуск демонстрационных и пилотных сценариев для разработки, поддержки и внутренних сервисов.
Модели и конфигурации
Для малого и среднего бизнеса чаще всего используют Mac Mini M4 и M4 Pro (16–32 ГБ). 24 ГБ или 32 ГБ объединенной памяти позволяют запускать модели с большим количеством вводных — от 7 до 34 млрд параметров локально. Подходят для облачных моделей (Claude, OpenAI), а также для небольших локальных моделей (7 млрд параметров), запущенных одновременно с интерфейсом OpenClaw.
Компании, запускающие модели с 70+ млрд параметров или несколько локальных моделей одновременно, выбирают Mac Mini M4 Pro (48-64 ГБ). На уровне Enterprise предпочитают Mac Studio (36 ГБ – 512 ГБ), который позволяет закрывать комплекс задач большого бизнеса.
Короткая ссылка
