Uber的业务依赖于众多微服务,这些服务的持续部署对于确保新功能、库更新和安全补丁能够及时、安全地交付至生产环境至关重要。文章分享了Uber如何重构微服务的持续部署,以提高部署自动化和微服务管理的用户体验,同时解决了大型单一仓库(monorepo)中不断增长的提交量所带来的挑战。
一款全自动视频翻译的 AI 工具:VideoLingo | #工具
能够一键全自动对视频进行字幕切割、翻译、精准对齐和个性化配音,最终生成 Netifx 级别的字幕和配音。
具有如下特点:
- 使用 NLP 和 LLM 进行字幕分割;
- 智能术语知识库,实现上下文感知翻译;
- 三步翻译过程:直接翻译 - 反思 - 改进;
- 精确的单词级字幕对齐;
- 使用 GPT-SoVits 克隆音色并生成高质量的配音。
能够一键全自动对视频进行字幕切割、翻译、精准对齐和个性化配音,最终生成 Netifx 级别的字幕和配音。
具有如下特点:
- 使用 NLP 和 LLM 进行字幕分割;
- 智能术语知识库,实现上下文感知翻译;
- 三步翻译过程:直接翻译 - 反思 - 改进;
- 精确的单词级字幕对齐;
- 使用 GPT-SoVits 克隆音色并生成高质量的配音。
Prompt Engineering Interactive Tutorial | #指南
主要特点
易于使用:只需用一行代码修补您的 Hugging Face 模型,或者使用我们的 Liger Kernel 模块组成您自己的模型。
时间和内存效率高:与 Flash-Attn 秉承同样的精神,但适用于RMNSNorm、RoPE、SwiGLU和CrossEntropy等层!通过内核融合、就地替换和分块技术,可将多 GPU 训练吞吐量提高 20%,并将内存使用量降低 60% 。
精确:计算精确——无近似值!前向和后向传递均通过严格的单元测试实现,并在没有 Liger Kernel 的情况下针对训练运行进行收敛测试,以确保准确性。
轻量级: Liger Kernel 的依赖性极小,只需要 Torch 和 Triton — 无需额外的库!告别依赖性烦恼!
支持多 GPU:兼容多 GPU 设置(PyTorch FSDP、DeepSpeed、DDP 等)。
目标受众
研究人员:寻求使用高效可靠的内核为前沿实验构建模型。
ML 从业者:专注于通过最佳、高性能内核最大化 GPU 训练效率。
新手:渴望学习如何编写可靠的 Triton 内核以提高训练效率。
特点
安全:Waifuset 在操作过程中,不会修改数据集中的任何图像文件,确保数据的完整性和安全。
高效:大部分编辑操作在 Waifuset 中都非常高效,能够轻松处理十万乃至百万量级的大型数据集。
易用:UI 设计简洁直观,即使是复杂操作也可以轻松一键完成。
远程访问:通过 Web 服务进行访问,支持在本地或云服务器上部署和访问。
UI 交互:Waifuset 的所有操作都通过用户界面完成,即使是没有编程背景的用户也能轻松上手。
局限性
基于标签的标注:Waifuset 假设所有的标注都是以英文逗号分隔的标签形式,而非自然语言描述。所有的标注编辑操作都将严格遵循这一格式。
专注于 Danbooru 标签:Waifuset 的标注优化算法主要面向 Danbooru 标签系统,不支持其他类型的标签体系。
标注专用:该工具主要用于编辑图像标注,而非图像本身。不包含图像编辑和文件系统功能。
Waifuset | #工具