SiLLM - Silicon LLM Training & Inference Toolkit:基于 MLX 框架的 Silicon LLM 训练和推理工具包,简化了在 Apple Silicon 上训练和运行大语言模型的过程
基于 OpenAI whisper 的 YouTube 视频搜索工具,可以将音频转为文本,并在视频中高亮搜索到的关键词

CTRL-F for videos | #工具
Memento:记录计算机所有动作并允许用户返回时间、搜索和通过 LLM(大语言模型)与时间线聊天以查找收集到信息的 Python 应用
Decompyle++:用 C++ 编写的 Python 字节码反编译器和反汇编器
OpenChatML Specification:用于表示对话数据的结构化格式,为对话系统、聊天机器人、对话数据集等场景提供了一种标准化的表示方式
Speechless LLM based Agents:基于LLM 的Agent,具有主动交互、长期记忆、外部工具集成和本地部署能力,旨在建立一个智能协作伙伴,该伙伴可以独立交互、持续发展,并与各种业务场景密切对齐,为企业提供实际价值
torchtune:用 PyTorch 轻松微调大语言模型

PyTorch发布了torchtune库的alpha版本,用于轻松微调大型语言模型。该库遵循PyTorch的设计原则,提供了组件化和模块化的构建块,以及易于扩展的微调示例,以在各种消费级和专业GPU上微调流行的大型语言模型。

torchtune支持从头到尾的完整微调工作流程,包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。

torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。

torchtune与Hugging Face Hub、PyTorch FSDP、Weights & Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成,为用户提供灵活性和控制力。
将网站内容转换为适合LLM的Markdown格式文本的工具

Firecrawl | #工具
基于人工智能的代码生成工具,可以根据自然语言描述生成完整的代码,该工具利用了Qwen大语言模型,可以提供高质量、准确的代码生成结果

CodeQwen1.5 | #工具 #生成器
LLM Experiments:与 OpenAI 语言模型 GPT 进行交互的Demo项目
AI文档理解相关文献资源列表 | Awesome-Document-Understanding
Back to Top