Swan:使用FPGA的轻量级语言模型执行环境,目标是利用高级综合(HLS)在通用FPGA上高效地运行语言模型
简单快速的后端API,基于 Hono,可以通过关键词在互联网上搜索到相关的内容并转换成适合 LLM 处理的格式

DuckRush | #API
Llama3-8B-Chinese-Chat:首个中文微调LLaMa 3模型,基于 Meta-Llama-3-8B-Instruct 模型,使用 ORPO 对其进行了中文微调,从而提高了其在中文问答中的表现
使用 Rust 和 Svelte 构建的跨平台本地搜索工具,用于在本地记录和搜索在任何计算机上查看的所有内容

xrem | #工具
Media is too big
VIEW IN TELEGRAM
AI 流程图生成器,使用 LlamaIndex 和 Vercel AI SDK 构建的 AI 图表生成器,可以根据给定的主题生成图表,并在生成过程中实时流传输部分图表

ai-diagram-generator | #生成器
Empirical:快速测试和评估 LLM、提示和其他配置,适用于应用的所有重要场景
Running HumanEval with the CLI - March 21, 2024.mkv
1.5 MB
seemore:用 PyTorch 从头开始实现的视觉语言模型
CoreNet: Apple的深度网络训练库,用于训练深度神经网络,支持各种任务,包括基础模型(如 CLIP 和 LLM)、目标分类、目标检测和语义分割
微信发布一款桌面工作效率的AI工具:小微助手,可搜索电脑中所有内容。| #工具

通过你对该工具的授权,它可以使用自然语言搜索你电脑里指定文件夹的所有内容,同时还支持在线聊天问答,类似ChatGPT。

还有一个圈子功能允许组织成员共同分享和使用各种数据和服务,还能接入OpenAI等模型。

同时还内置多种应用,如剪贴板收藏、微信翻译、闪念胶囊工具。
Adobe 正式宣布推出新的图像生成模型 Firefly Image 3,即日起在 Firefly Web 应用程序、Adobe Photoshop 和 Adobe InDesign 中提供测试版,并在「今年晚些时候」全面上市,旨在让创作者能够提高工作效率,生成更高质量、更详细的图像。 | 详文
2024【新】零声linuxC++高级开发
用 ORPO 将 Llama 3 的性能提升到新高度 | 详文

ORPO(Odds Ratio Preference Optimization)是一种新的微调技术,可以将传统的监督微调和偏好对齐阶段合并为一个过程,从而减少计算资源和训练时间。

ORPO通过修改语言建模目标,将负对数似然损失与比值(OR)项相结合,以弱化被拒绝的响应并强化被选择的响应,让模型同时学习目标任务和人类偏好。

文章使用TRL库中的ORPOTrainer在Llama 3 8B模型上进行ORPO微调,数据集包含DPO偏好对,共1000个样本。尽管由于样本量少仅训练了1个epoch,但微调后的模型在Nous的基准测试中表现良好,所有指标上均优于Llama 3原模型。

ORPO展现了作为新的微调范式的潜力,未来在更大规模的偏好数据集上进行充分训练将产生更好的效果。选择高质量的数据集也非常重要。

当前是开源社区的活跃时期,正在发布越来越多高质量的开源模型,开源模型与专有模型的差距正在缩小,微调是获得最佳性能的关键。
Craft 怎么在生产力工具里设计声音 | blog

Craft(Notion 的竞品)介绍了他们在产品里加入声音/音效的整个过程

开始单纯的点击音效很冷,也没有主题。之后选择了模拟真实世界里的声音,并且更微妙、低调地融入操作

声音设计师录制了翻书、写字、擦橡皮等自然声音,并把它们扩展成了一个声音的“设计系统”
supabase 最近开源了一个 PostgreSQL 插件,可以直接提供数据库索引的建议,以提高查询性能。

可以直接在 supabase 上进行安装,也可以直接学习 SQL 看看原理。

PostgreSQL Index Advisor | #插件
ddns-go:可以免内网穿透,通过 ipv6,轻松的将域名绑定到自己的电脑或手机上,适合不想买服务器,又想别人访问自己的服务的独立开发者
Form Extractor Prototype:使用 Claude 3 LLM 模型的工具,可以从表单图像中提取结构,并将其转换为符合 GOV.UK 表单模式的 JSON 结构,然后生成多页面的 Web 表单
json-repair:提供了一个名为 json-repair 的工具,用于修复从语言模型(LLM)产生的 JSON 格式异常 | #工具
CIANNA - 天体物理学家的卷积交互式人工神经网络

CIANNA 是一个通用深度学习框架,主要开发和用于天文数据分析。根据天体物理问题解决的相关性添加功能和优化。

CIANNA 可用于构建和训练用于各种任务的大型神经网络模型,并提供高级 Python 接口(类似于 keras、pytorch 等)。

CIANNA 的特点之一是其定制实现的受 YOLO 启发的物体检测器,用于 2D 或 3D 射电天文数据产品中的星系检测。该框架通过低级 CUDA 编程完全由 GPU 加速。

CIANNA | #框架
Back to Top