a16z近期公布了他们的开源 AI 资助计划第二期,主要关注两个领域:包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能构建的模型和社区。第二期有7 个项目:
SkyPilot:一个在任何云上运行LLMs、AI和批处理作业的框架,提供最大的成本节省、最高的GPU可用性和托管执行。
主要能力有:在任何云上启动作业和集群、排队并运行多个作业,自动管理、轻松访问对象存储、自动选择最便宜的云服务。
Axolotl(Wing Lian):用于微调LLMs的工具,支持多种配置和架构。
工具支持:训练各种Huggingface模型,如llama、pythia等、支持全面微调、lora、qlora、relora和gptq多种训练方式、使用简单的yaml文件或CLI覆盖自定义配置等。还有很多其他特性。
LMSys:开源模型、系统和评估平台。
开源了 LLM 用的数据集,还有一个 LLM 模型。最著名的还是通过 ELO 算法和机制评估 LLM 质量的项目,这种人工评分的机制比一些数据集的评价方法更加可以反应人类对于 LLM 质量的判断。
Common Crawl:用于训练许多LLMs的开放网络爬取数据存储库。
这是一个从 2007 年就开始收集的互联网语聊数据库,他们会定期抓取,你可以免费下载所有数据用来训练模型。GPT-3 82%的训练语料来自这个项目。
LLaVA:开源多模态模型(语言和视觉)。
端到端训练的大型多模态模型,连接了一个视觉编码器和LLM,用于通用的视觉和语言理解。
现在最新的是LLaVA 1.5 版本,只是对原始LLaVA进行简单修改,利用了所有公开数据,在单个8-A100节点上约1天内完成训练。
Deforum:AI动画的平台和开源社区,是一种 AI 生成动画的方式。Deforum的 WebUI 插件和 Discord 社区都是他们在维护。
Lucidrains:高影响力AI模型的开放实现。
Phil Wang,也以其在线昵称“lucidrains”而闻名,在AI和机器学习领域是一位杰出人物。以在PyTorch框架中实现各种有趣的AI模型和论文而闻名。他的工作包括Vision Transformer、DALL-E 2、Imagen和MusicLM等的实现。
SkyPilot:一个在任何云上运行LLMs、AI和批处理作业的框架,提供最大的成本节省、最高的GPU可用性和托管执行。
主要能力有:在任何云上启动作业和集群、排队并运行多个作业,自动管理、轻松访问对象存储、自动选择最便宜的云服务。
Axolotl(Wing Lian):用于微调LLMs的工具,支持多种配置和架构。
工具支持:训练各种Huggingface模型,如llama、pythia等、支持全面微调、lora、qlora、relora和gptq多种训练方式、使用简单的yaml文件或CLI覆盖自定义配置等。还有很多其他特性。
LMSys:开源模型、系统和评估平台。
开源了 LLM 用的数据集,还有一个 LLM 模型。最著名的还是通过 ELO 算法和机制评估 LLM 质量的项目,这种人工评分的机制比一些数据集的评价方法更加可以反应人类对于 LLM 质量的判断。
Common Crawl:用于训练许多LLMs的开放网络爬取数据存储库。
这是一个从 2007 年就开始收集的互联网语聊数据库,他们会定期抓取,你可以免费下载所有数据用来训练模型。GPT-3 82%的训练语料来自这个项目。
LLaVA:开源多模态模型(语言和视觉)。
端到端训练的大型多模态模型,连接了一个视觉编码器和LLM,用于通用的视觉和语言理解。
现在最新的是LLaVA 1.5 版本,只是对原始LLaVA进行简单修改,利用了所有公开数据,在单个8-A100节点上约1天内完成训练。
Deforum:AI动画的平台和开源社区,是一种 AI 生成动画的方式。Deforum的 WebUI 插件和 Discord 社区都是他们在维护。
Lucidrains:高影响力AI模型的开放实现。
Phil Wang,也以其在线昵称“lucidrains”而闻名,在AI和机器学习领域是一位杰出人物。以在PyTorch框架中实现各种有趣的AI模型和论文而闻名。他的工作包括Vision Transformer、DALL-E 2、Imagen和MusicLM等的实现。
这是调查论文“机器人基础模型:应用、挑战和未来”的合作伙伴存储库。作者希望这个存储库可以为希望阅读相关论文并实现相关方法的机器人专家提供快速参考。
本自述文件的组织遵循论文中的图 (如上所示),因此分为已应用于机器人技术的基础模型和以某种方式与机器人技术相关的模型。
MediaEditor:轻量、跨平台的开源非线性编辑软件,支持完整的时间轴编辑功能,包括移动、裁剪、剪切、缩略图预览、缩放和删除,内置45+个媒体滤镜和70+个媒体过渡效果,支持多种音视频编解码器和分辨率,支持磁吸功能、逐帧预览、多监视器模式等特色功能
网站还提供了对最新添加的工具的更新,可以根据编程语言进行过滤,包括Rust、Python、C、Haskell、Golang、JavaScript和C++。
Terminal Trove | #工具
Windows AI Studio | #工具
Youtube Videos Transcription with OpenAI's Whisper | #工具
macOSpilot: macOS AI 助手
macOSpilot 可以回答你在任何应用程序中遇到的任何问题,无需到达另一个窗口,只需使用键盘快捷键触发助手,说出问题,它就会在几秒钟内通过上下文和音频给出答案。
macOSpilot 会在触发时截取你的活动窗口的屏幕截图,并将其与问题记录到一起发送到 OpenAI GPT Vision。答案会以文本形式显示,并使用 OpenAI TTS(文本转语音)转换为音频。
macOSpilot-ai-assistant | #工具
macOSpilot 可以回答你在任何应用程序中遇到的任何问题,无需到达另一个窗口,只需使用键盘快捷键触发助手,说出问题,它就会在几秒钟内通过上下文和音频给出答案。
macOSpilot 会在触发时截取你的活动窗口的屏幕截图,并将其与问题记录到一起发送到 OpenAI GPT Vision。答案会以文本形式显示,并使用 OpenAI TTS(文本转语音)转换为音频。
macOSpilot-ai-assistant | #工具