Swiftlet

概述

在大型语言模型（LLM）主要被庞大的云集群和昂贵的企业级 API 所垄断的时代，Swiftlet 作为一款为开发者社区带来颠覆性变革的开源项目应运而生。Swiftlet 是一个经过巧妙优化的执行框架，旨在让海量参数的 AI 模型直接在消费级苹果硬件上运行。该工具主要面向开发者、AI 研究人员以及注重隐私的科技爱好者，致力于解决本地 AI 部署中最棘手的瓶颈之一：内存限制。

Swiftlet 的核心优势在于其卓越的内存效率。通过针对低内存环境进行可谓极致的优化，Swiftlet 允许用户在普通 Mac 上仅使用 4.3 GB 内存即可运行 800 亿参数模型（如 Qwen）。更令人惊叹的是，它将这一能力延伸至移动端，实现了在 iPhone 上直接本地运行 350 亿参数的 LLM，彻底打破了以往手持设备在技术上的天花板。

对于开发者而言，这意味着巨大的变革。Swiftlet 能够实现完全端侧的 AI 执行，从根本上保证了绝对的用户隐私，并允许 AI 工作负载在完全无网络连接的离线状态下运行。这为构建响应迅速、安全且“离线优先”的智能应用开辟了广阔的想象空间。此外，由于该工具完全免费且开源，它的使用门槛极低，工程师们可以检查底层代码，将其无缝集成到自己的 iOS 或 macOS 应用中，并在不产生高昂云计算费用的情况下测试庞大的模型。

不过，该工具也有其局限性。从目前的演示和底层架构来看，Swiftlet 似乎高度聚焦于苹果生态系统。虽然 Mac 和 iOS 用户将从这种专门的优化中获益匪浅，但在 Windows、Linux 或 Android 环境下工作的开发者可能暂时无法使用该工具。尽管如此，对于深耕苹果生态的用户来说，Swiftlet 代表了一次重大的技术飞跃，它从根本上重新定义了边缘计算和本地移动 AI 的可能性。

Screenshot

核心功能

• 在 Mac 上仅使用 4.3 GB 内存运行 80B 参数 LLM
• 在 iPhone 上本地运行 35B 参数 LLM
• 针对低内存消费级硬件环境进行了深度优化
• 支持端侧 AI 执行，全面保障隐私与离线访问

使用场景

• 在个人苹果设备上本地运行大型语言模型
• 在 iPhone 和 Mac 上离线执行 AI 工作负载
• 在内存受限的系统上测试和部署超大 AI 模型

价格

该工具作为开源项目托管在 GitHub 上，可免费访问和使用。

优点

• 运行大模型时占用的内存极低
• 实现了在移动设备上本地运行超大型 LLM
• 开源，且对开发者非常友好

缺点

• 目前似乎高度局限于苹果生态系统（Mac/iOS）

关键信息

• 开源： 是（来源：https://github.com/leonickson1/Swiftlet）
• 开发者： leonickson1（来源：https://github.com/leonickson1/Swiftlet）
• 平台： Mac, iOS（来源：https://github.com/leonickson1/Swiftlet）

常见问题

整理自官方网站：https://github.com/leonickson1/Swiftlet

Swiftlet 是什么？

Swiftlet 是一款 AI 优化工具，允许您在苹果设备上本地运行 Qwen 等大型语言模型。它具有极高的内存效率，能够在 Mac 上运行 80B 模型，并在 iPhone 上运行 35B 模型。

Swiftlet 是开源的吗？

是的，Swiftlet 是一个开源项目。其代码库已在 GitHub 上以开发者名称 leonickson1 公开发布。

使用 Swiftlet 运行大型模型需要多少内存？

在 Mac 上，您只需使用 4.3 GB 的内存即可运行 80B 参数的 Qwen 模型。此外，它还支持直接在 iPhone 上运行 35B 参数的模型。