计图大模型推理库 - 笔记本没有显卡也能跑大模型

本大模型推理库JittorLLMs有以下几个特点:
1. 成本低:相比同类框架,本库可大幅降低硬件配置要求(减少80%),没有显卡,2G内存就能跑大模型,人人皆可在普通机器上,实现大模型本地部署;是目前已知的部署成本最低的大模型库;
2. 支持广:目前支持了4种大模型:ChatGLM大模型;鹏程盘古大模型;BlinkDL的ChatRWKV;国外Meta的LLaMA大模型;后续还将支持MOSS等国内优秀的大模型,统一运行环境配置,降低大模型用户的使用门槛。
3. 可移植:用户不需要修改任何代码,只需要安装Jittor版torch(JTorch),即可实现模型的迁移,以便于适配各类异构计算设备和环境。
4. 速度快:大模型加载速度慢,Jittor框架通过零拷贝技术,大模型加载开销降低40%,同时,通过元算子自动编译优化,计算性能相比同类框架提升20%以上。

Jittor文档 | Jittor论坛
一本系统地教你将深度学习模型的性能最大化的战术手册

深度学习调优指南中文版 | #手册
Poe正式推出安卓版 | 下载地址
一款可以检测文本的来源是否来自人类编写或AI生成的工具,文本检测准确率高于98%。无需注册,免费使用。

ZeroGPT | #工具
闪迪推出 1T 容量的任天堂认证 microSD 卡

闪迪发布了一款容量为 1TB,并带有《塞尔达传说》 Hylian Crest 标识的的任天堂认证存储卡,这是迄今为止容量最大的任天堂认证存储产品。该卡目前已经在美国上市,定价为 129.99 美元,国行版本会在稍后上市。
让 OpenAI 更 Open,在 ChatGPT 里自由接入数据源 | blog
微软今天在 GitHub 开源了一款全新的开发工具:Dev Home,在 Windows 系统中,内置了可视化控制面板。

该工具提供以下特性:

- 连接 GitHub 账号,在本地更好的管理项目;
- 使用图形化界面,快速自定义项目安装配置;
- 实时监测电脑的 CPU、GPU、内存等硬件使用情况;
- 内置插件系统,开发者可自选安装与定制。

开发主页 | github | #工具
上千页的中文C++电子书。本书含十大主题,分为 Basics、Modern C++、C++23、Metaprogramming、Concurrency、Performance、Algorithms、Techniques、Tricks 和 Miscellaneous。

现代C++之书 | #电子书 #C++
中国移动近日发布公告:「由于系统维护升级,暂停中国移动一号双终端业务新增办理」。已经办理该业务的用户可继续使用,但取消后可能无法恢复。
Kwok 模拟 K8s 集群的工具。它可以在几秒钟内搭建一个由数千个节点组成的 Kubernetes 集群,在场景下,所有节点都被模拟为像真实节点一样运行,因此整体方法占用的资源非常少轻松实现在本机上学习、测试和开发 K8s 集群应用。

到目前为止,它提供了两个工具:

kwok是这个项目的基石,负责模拟假节点、pod 和其他 Kubernetes API 资源的生命周期。
kwokctl是一个 CLI 工具,旨在简化集群的创建和管理,节点由kwok.

网站 | github | #工具
有事儿留言,我得先做个手术。。。。

被安排到了下午两点

评论越看越想笑
Network Traffic Analyzer 是一种基于 Python 的工具,用于分析 PCAP 文件中捕获的网络流量。它为不同 IP 地址之间的通信、网络协议的分布以及潜在的端口扫描活动提供了宝贵的见解。该应用程序旨在帮助网络管理员和安全专家识别与网络相关的问题和安全漏洞。

特征
分析来自 PCAP 文件的网络流量
计算使用的总带宽
显示协议分布
识别顶级 IP 地址通信
检测潜在的端口扫描活动

Network Traffic Analyzer | #工具
《如何写好学术论文》| 豆瓣试读

一本畅销多年的写作手册,第16版中译本。从选题、资料搜集、文献标注,到大纲、草稿、修订、校对,各个方面都谈到了。此版对网络资源也很关注,介绍了网络资源的便利性、伴随的问题和注意事项。涵盖的领域很广,各学科对论文写作感兴趣者均可留意。
Back to Top