自动化分布式深度学习系统,在分布式集群上自动化训练深度学习模型

DLRover 自动在分布式集群上训练深度学习模型。它可以帮助模型开发人员专注于模型架构,而无需关心任何工程方面的事情,比如硬件加速、分布式运行等。现在,它为 K8s/Ray 上的深度学习训练作业提供自动化运维。主要特点为

Automatic Resource Optimization自动优化作业资源,提高训练性能和资源利用率。
动态数据分片,动态分配训练数据给每个worker而不是平分,更快的worker更多数据。
容错,单节点故障转移,无需重新启动整个作业。
自动缩放,在节点级别和 CPU/内存级别自动扩展/缩减资源。

dlrover |#机器学习
使用Python 101自动化电子表格 | 详文 | #Python

这是一个在你编辑时为你编写 Python 代码的电子表格,这篇博文是为那些以前从未使用过 Python 但对如何开始使用它来自动化他们的数据工作以及每周节省他们通常更新电子表格的时间感到好奇的人而写的。
斯坦福发布Alpaca(羊驼,网友口中的“草泥马”)。

只花100美元,人人都可微调Meta家70亿参数的LLaMA大模型,效果竟可比肩1750亿参数的GPT-3.5(text-davinci-003)。而且还是单卡就能运行的那种,甚至树莓派、手机都能hold住!

作者:博文 | Twitter
大语言模型集成工具LangChain有TypeScript的版本,这就意味这你不需要依赖Python也可以实现诸如Embeddings、文本分割等功能 | 详文
一款可利用 ChatGPT 总结 arxiv 论文的开源工具。

该项目可根据用户关键词下载 arxiv 上的最新论文,利用 ChatGPT3.5 API 强大的归纳能力,将其浓缩成固定格式,文字少且易读。

作者为 ChatPaper 提供了一个 Web 图形界面,让用户可以选择在私有或公共环境中部设置 ChatPaper,或在 Hugging Face 上在线体验该项目功能。

ChatPaper | #论文 #工具
超快的C++单头文件测试框架

这是一款轻量级、快速的 C++ 测试框架,它使用起来十分方便,引入头文件即可使用,而且速度快、编译时间短,支持 C++ 11/14/17/20。

它与其他测试框架的主要区别在于它轻巧且非侵入式:

1.在包含标头和编写数千个断言方面,编译时间超轻
2.即使在MSVC / GCC / Clang最激进的警告级别上也不会产生任何警告
3.可以使用标识符从二进制文件中删除所有与测试相关的内容DOCTEST_CONFIG_DISABLE
4.线程安全- 断言可以从单个测试用例产生的多个线程使用 -示例
5.断言可以在测试上下文之外使用——作为通用断言库——示例
6.没有全局命名空间污染(一切都在doctest::)并且不会拖拽任何标题
7.可移植的C++11(C++98 使用标签1.2.9)有 100 多种不同的 CI 构建(静态分析、消毒剂……)
8.二进制文件 (exe/dll) 可以使用另一个二进制文件的测试运行程序 => 在单个注册表中进行测试 -示例

Doctest | #框架 #c++
一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。

ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

ChatGLM-6B | blog
3月16日微软有个关于AI的活动,主题是《用人工智能重塑生产力》,具体时间在太平洋时间上午8点。| 地址
作者 @bearbig 用这个Thread记录了实际在工作和生活中使用Notion AI提升效率的经验和案例,不定期更新

地址 | #Notion #经验
数据库分片技术详解 | #数据库

每天都会收集更多功能、活跃用户和数据。你的数据库正在减慢你的应用程序。很多人不了解数据库分片,这可以解决他们的困难。

本文介绍了数据库分片及其优点,包括如何使用和何时不使用。
通过Go语言学习测试驱动开发

在线阅读 | #Go语言
被 Meta 起诉,Freenom 停止域名注册 | 原文

域名注册商Freenom的免费域名长期以来一直吸引垃圾邮件发送者和网络钓鱼者,现已停止允许新域名注册。此举是在这家荷兰注册商被Meta起诉之后发生的,Meta 指控该公司无视关于网络钓鱼网站的滥用投诉,同时将这些滥用域的流量货币化。

2023 年 3 月 3 日,社交媒体巨头 Meta 在北加州法院起诉 Freenom,指控其存在域名抢注和商标侵权行为。该诉讼还寻求有关 20 个不同“John Does”的身份的信息——Meta 表示,Freenom 客户在针对Facebook、Instagram和WhatsApp用户的网络钓鱼攻击中特别活跃。

该诉讼指向2021 年由Interisle Consulting Group进行的一项关于域名滥用的研究 (PDF) ,该研究发现由 Freenom 运营的 ccTLD 占网络钓鱼者滥用最多的十大 TLD 中的五个。

“Freenom 为其提供服务的五个 ccTLD 是网络犯罪分子选择的 TLD,因为 Freenom 提供免费域名注册服务并保护其客户的身份,即使在出示域名被用于非法目的的证据之后,”投诉费用。“即使在收到客户的侵权或网络钓鱼通知后,Freenom 仍继续向这些客户许可新的侵权域名。”

Meta 进一步声称,“Freenom 一再未能采取适当的措施来调查和适当回应滥用报告”,并且它通过转售侵权域名和添加“停放页面”将访问者重定向到其他商业网站,从而从中获利。 、包含色情内容的网站以及用于网络钓鱼等恶意活动的网站。

Freenom 尚未回应置评请求。但在发布时尝试通过公司网站注册域会生成一条错误消息,内容如下:

“由于技术问题,Freenom 的新注册申请暂时出现故障。对于给您带来的不便,请接受我们的歉意。我们正在研究解决方案,希望尽快恢复运营。谢谢你的理解。”
GDevelop:一个开源、跨平台、免费且易于使用的游戏制作应用程序。
Back to Top