torchtune:用 PyTorch 轻松微调大语言模型

PyTorch发布了torchtune库的alpha版本,用于轻松微调大型语言模型。该库遵循PyTorch的设计原则,提供了组件化和模块化的构建块,以及易于扩展的微调示例,以在各种消费级和专业GPU上微调流行的大型语言模型。

torchtune支持从头到尾的完整微调工作流程,包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。

torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。

torchtune与Hugging Face Hub、PyTorch FSDP、Weights & Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成,为用户提供灵活性和控制力。
将网站内容转换为适合LLM的Markdown格式文本的工具

Firecrawl | #工具
基于人工智能的代码生成工具,可以根据自然语言描述生成完整的代码,该工具利用了Qwen大语言模型,可以提供高质量、准确的代码生成结果

CodeQwen1.5 | #工具 #生成器
LLM Experiments:与 OpenAI 语言模型 GPT 进行交互的Demo项目
AI文档理解相关文献资源列表 | Awesome-Document-Understanding
GWalkR:R中的交互式探索性数据分析(EDA)工具 | #工具
Mamba相关文献资源列表 | Awesome_Mamba | #文献

Mamba 架构是深度学习领域的开创性框架,以其选择性状态空间和处理复杂数据结构的效率而闻名。它站在创新的最前沿,突破了序列建模、图像处理、语音识别等领域的可能性界限。
DeepBI:AI原生的数据分析平台,DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据,用户可以使用DeepBI洞察数据并做出数据驱动的决策
AIChat Web - 在ChatGPT-Next-Web的基础上,增加注册登录,额度限制,邀请,敏感词,支付,基于docker一键部署。提供后台管理系统,可配置标题、欢迎词、额度不足提醒、公告
Back to Top