核心使用C++14编写,没有第三方依赖(BLAS、SentencePiece等),能在各种设备中无缝运行。
特点
为日常设备进行优化:libLLM经过优化,可在常见的个人电脑上平稳运行,确保大型语言模型的强大功能面向更广泛的用户。
C++代码:采用标准C++14编写,简单高效。
无外部依赖:核心功能无需第三方依赖(BLAS、SentencePiece等),所需的GEMM内核均在内部实现(avx2、avx512)。
支持CUDA:支持使用CUDA加速推理。
📱广泛的捕捉设备支持:使用基于 ESP 平台、Sony Spresense 或 Apple Watch 等消费类硬件的定制设备捕捉你的生活。不断添加其他设备支持,因此任何带有传感器的设备都能够向 Owl 发送数据。
🧠灵活的推理选项:完全在本地运行或利用商业模型。使用Ollama上可用的任何模型进行推理,或使用 GPT-4 等商业模型。使用Whisper的 TTS或选择 Deepgram 等商业服务。
🌐从网络捕获:轻松从桌面或任何手机捕获内容。
🎙多模式捕捉:持续捕捉位置和音频。对图像和视频的支持即将推出!
📶广泛的连接选项:使用支持 BLE、LTE 或 WiFi 的设备进行捕获。
🚶♂️随时随地的交互式 AI:通过本机 iOS 和 Web 界面轻松与你的 AI 交互(Android 支持即将推出!)。
🔊说话者验证:你的人工智能会学习你的声音,因此它知道你何时在说话。
📡流媒体和离线模式:将你的生活实时传输到人工智能以获取主动帮助,或在网络受限的环境中切换到离线模式。
💬高级对话理解:利用基于 VAD 的对话端点来细分和理解你的交互。
Transformer Lab:大型语言模型实验室应用,支持以下特性:
下载数百种流行模型;
通过聊天或完成与模型交互;
使用数据集库或自己的数据对模型进行微调;
评估模型;
通过 REST API 访问所有功能;
通过简单的跨平台 GUI 来完成以上所有操作
下载数百种流行模型;
通过聊天或完成与模型交互;
使用数据集库或自己的数据对模型进行微调;
评估模型;
通过 REST API 访问所有功能;
通过简单的跨平台 GUI 来完成以上所有操作
LLM.swift:一个简单易读的库,允许用户在macOS、iOS、visionOS、watchOS和tvOS上轻松与本地大型语言模型(LLM)进行交互
LLMOps with Prompt flow:LLMOps 模板和指南,帮助使用 Prompt Flow 构建LLM注入的应用,支持集中代码托管、生命周期管理、变体和超参数实验、A/B 部署、全部运行和实验的报告等
该库通过函数式编程方法提高了易用性、速度和模块化,使得统计‘原子’能够灵活组合以执行精确的贝叶斯推断。其核心特色在于支持构建复杂采样方法和推断模型,尤其适合需要尖端方法的用户、研究人员和有志于深入理解这些方法的人。
BlackJAX的设计原则强调了纯函数式结构以简化并行化,并提供了低级API,使用户能够实现定制的复杂方法。BlackJAX鼓励重新引入结构感知算法,以适应现代模型推断的需求。