Local LLM on iOS

Пример проекта по запуску локальной LLM непосредственно на iPhone без использования сервера.

🛠️ Стек

• Swift
• SwiftUI
• mlx-swift-lm
• swift-huggingface
• swift-transformers

📦 Используемые библиотеки

MLX Swift LM

https://github.com/ml-explore/mlx-swift-lm

Библиотека для запуска моделей MLX на устройствах Apple.

Swift Hugging Face

https://github.com/huggingface/swift-huggingface

Swift-клиент для работы с Hugging Face Hub: загрузка моделей, токенизаторов и других ресурсов.

Swift Transformers

https://github.com/huggingface/swift-transformers

Реализация Transformer-моделей на Swift с интеграцией в экосистему Hugging Face.

---

🤖 Модели

Легкая

Модель:

mlx-community/Qwen3-1.7B-4bit

Подходит для большинства современных iPhone. Быстро отвечает и потребляет меньше оперативной памяти.

---

Средняя

Модель:

https://huggingface.co/mlx-community/Llama-3.2-3B-Instruct-4bit

Лучшее соотношение качества ответов и производительности.

---

Тяжелая

Модель:

Qwen/Qwen3-1.7B-MLX-bf16

Использует формат BF16, обеспечивает более высокое качество генерации, но требует значительно больше памяти и вычислительных ресурсов.

---

📱 Требования

• iOS 18+
• Xcode 26+
• Устройство Apple Silicon (iPhone/iPad)

---

🚀 Возможности

• Запуск LLM полностью локально
• Работа без подключения к интернету
• Загрузка моделей с Hugging Face
• Потоковая генерация ответов
• Поддержка нескольких моделей
• Полностью написано на Swift и SwiftUI