Как запустить ИИ-модели на серверах с процессорами Loongson

Российский рынок серверных процессоров оказался в нестандартной ситуации. Intel и AMD закрыли официальные поставки. Параллельный импорт работает, но создаёт юридические и операционные риски для государственных структур и крупных компаний. В этих условиях китайская архитектура Loongson и построенные на ней серверы превращаются из экзотики в реальный вариант для рассмотрения.

Разберём, что это за платформа, на что способна и как на ней запускать ИИ-нагрузки.

Что такое Loongson и LoongArch

Loongson Technology - китайская компания, которая разрабатывает процессоры с начала 2000-х годов. Изначально архитектура базировалась на MIPS, но в 2021 году компания представила полностью собственную архитектуру LoongArch.

Независимые эксперты, изучившие архитектуру, подтвердили, что LoongArch не является копией или производной от ARM, x86, MIPS, RISC-V или POWER. Собственный формат инструкций, уникальные режимы адресации, своя система кодирования. Для Китая это вопрос технологического суверенитета - создать процессорную архитектуру, которая не зависит от американских лицензий.

Актуальное поколение ядер LA664, которое используется в серверных процессорах Loongson 3C6000. Поддерживает многопоточность, 128-битные векторные инструкции LSX и 256-битные инструкции LASX - последние важны для ускорения матричных операций, которые лежат в основе ИИ-нагрузок.

Связь с российским рынком

В декабре 2025 года компания «Трамплин Электроникс» представила серверный процессор «Иртыш» на основе ядер Loongson LA664. Линейка включает модели с 16, 32 и 64 ядрами - старшая версия C664 работает на частоте до 2,1 ГГц с кэшем L3 объёмом 64 МБ.

Процессор лицензирован с правом внесения изменений в архитектуру - разработчики воспользовались этим и добавили поддержку российских криптографических алгоритмов. Целевой объём производства в первый год - 30 000 единиц, первые серверные системы на базе «Иртыша» от нескольких производителей появились в начале 2026 года.

Архитектуру LoongArch уже поддерживают «Базальт СПО», «Норси-Транс» и «Аскон» - это означает, что базовый стек корпоративного ПО для работы есть.

Где платформа сильна, а где есть ограничения

Сильные стороны платформы: полная независимость от американских лицензий, отсутствие рисков удалённой блокировки, поддержка стандартных интерфейсов PCIe Gen 4 и DDR4, совместимость с Linux-экосистемой. Для задач инференса (запуска уже обученных ИИ-моделей) платформа вполне пригодна.

Ограничения тоже реальны. Программная база значительно уже, чем у x86. Большинство ИИ-фреймворков оптимизированы под x86 с AVX-512 или под GPU с CUDA. На LoongArch они работают, но без аппаратной оптимизации под конкретные инструкции производительность ниже. Обучение больших моделей на CPU-кластере из Loongson практически нецелесообразно - это задача для GPU. 

Как запустить ИИ-модели на Loongson: практический подход

Ключевой инструмент для запуска ИИ-моделей на CPU - llama.cpp. Это открытый движок на C/C++, который изначально создавался именно для работы на CPU без GPU. Он поддерживает формат GGUF с квантизацией, имеет встроенный сервер с OpenAI-совместимым API и автоматически определяет доступные инструкции процессора для оптимизации.

Для LoongArch ключевые векторные расширения - LSX (128-бит) и LASX (256-бит). Поддержка LoongArch в llama.cpp появилась, и при сборке проекта из исходников под эту архитектуру движок использует доступные векторные инструкции для ускорения матричных операций. Это не уровень AVX-512 на современном Xeon, но заметно быстрее базового скалярного исполнения.

Практический порядок запуска:

Шаг 1. Установить Linux-дистрибутив с поддержкой LoongArch. «Базальт СПО» поставляет сертифицированные дистрибутивы с поддержкой этой архитектуры.

Шаг 2. Собрать llama.cpp из исходников с флагами оптимизации под LoongArch. При сборке движок автоматически определяет доступные расширения LSX/LASX и включает соответствующие пути исполнения.

Шаг 3. Выбрать модель подходящего размера. На сервере с 64 ядрами и 128-256 ГБ ОЗУ реально работают модели 7-13 млрд параметров в формате Q4_K_M. Скорость инференса будет ниже, чем на GPU, но достаточна для корпоративных задач: документооборот, классификация, суммаризация, ответы на вопросы по базе знаний.

Шаг 4. Запустить встроенный сервер llama.cpp с OpenAI-совместимым API. Это позволяет подключать к модели любые приложения, написанные под стандартный OpenAI API, без изменения кода.

Альтернативные подходы

Помимо llama.cpp есть несколько вариантов.

ONNX Runtime поддерживает работу на CPU с различными архитектурами через общий интерфейс. Модели, конвертированные в формат ONNX, запускаются без переработки кода под конкретную платформу.

PyTorch с CPU-бэкендом работает на LoongArch через стандартную сборку под Linux. Производительность ниже, чем на x86 с оптимизированными библиотеками MKL, но для инференса небольших моделей приемлема.

Добавление GPU к системе. Ничто не мешает установить в сервер на Loongson дискретную видеокарту - через слот PCIe. Китайские GPU Biren или Moore Threads, а также NVIDIA через параллельный импорт, разгружают CPU и переносят тяжёлые вычисления на ускоритель. В этом сценарии Loongson выступает host-процессором, а GPU берёт на себя ИИ-нагрузку.

Для каких задач это имеет смысл

Loongson в связке с llama.cpp или ONNX Runtime закрывает конкретные корпоративные сценарии:

• Локальный ИИ-ассистент для работы с внутренними документами без выхода данных в облако
• Классификация и маршрутизация входящих запросов
• Суммаризация технической документации
• OCR и извлечение структурированных данных из неструктурированного текста
• Встроенная аналитика в изолированных системах с требованиями к информационной безопасности

Последний пункт особенно актуален: сервер на российско-китайской архитектуре без американских компонентов в сертифицированном контуре - это конкретное конкурентное преимущество при работе с госсектором.

Если рассматриваете серверы на базе Loongson или ищете китайское серверное оборудование для задач локального ИИ, то специалисты Азияторг помогут. Мы подберем конфигурацию и организуем поставку. Для заявки пишите нам на server@tkasiatorg.ru или оставьте запрос на сайте.