Maxun - Web：数据采集自动化平台 | #爬虫

爬虫 • 无代码 • 智能化 • 全自动化

无代码网络数据提取平台, 用户可以在 2 分钟内训练一个网络爬虫机器人, 无需编程知识就能实现自动化的网页数据抓取, 支持将网站转换为 API 或直接导出到电子表格。

✨主要特性:
- 无代码方式提取数据
- 支持处理分页和滚动
- 可以按特定时间表运行机器人
- 支持网站到 API 的转换
- 支持网站到电子表格的转换
- 允许用户连接外部代理以绕过反爬虫保护
- 即将推出: 自适应网站布局变化、支持需要登录和双因素认证的网站抓取

✨机器人动作类型:
- Capture List: 用于提取结构化数据和批量项目
- Capture Text: 用于提取单个文本内容
- Capture Screenshot: 可获取全页面或可见区域截图

视觉模型集成: 改进 RAG 文档处理新方法

- 传统 RAG 只处理文本内容, 而这个系统同时处理文本和图像
- 对 PDF 文档的每一页同时提取文本和图像信息
- 使用 Qdrant 向量数据库存储文本和图像的双重向量表示

技术实现细节:
- 文本处理: 使用文本嵌入模型处理提取的文本
- 图像处理: 使用 CLIP 模型处理页面图像
- 向量存储: Qdrant 支持每个文档存储多个向量
- 视觉分析: 集成了 OpenAI 的视觉语言模型

查询处理流程:
- 接收用户查询
- 使用向量相似度检索最相关的前 3 个结果
- 将查询和检索到的图像传递给视觉语言模型
- 聚合文本检索和视觉分析的结果
- 生成综合的回答

主要优势:
- 可以"理解"文档的视觉布局和格式
- 提供更丰富的上下文信息
- 能够处理图表、图像等非文本内容
- 回答更准确, 并能提供视觉证据支持

上个月，Prajwal Tomar 使用 Cursor 和 V0 同时管理了5个客户的项目，且在有全职工作的情况下高效地完成了这些任务。

推主分享了一系列关于如何让 AI 帮助开发的实用技巧 | 帖子 | #技巧 #经验

AI 图像修复工具：PromptFix | #工具

它能够根据输入的提示来对图像进行修复，比如给图像上色、移除指定物体、去除水印、图像高清化、调整光线等。

VMware Workstation 从专有代码转向使用上游 KVM | 文章

自动化网页数据爬取工具：Maxun | #工具

无需代码，通过可视化界面构建自定义机器人，实现自动化网页数据爬取，支持执行捕获列表、文本或截图等操作。

wasm-audio-decoders：集合了多种 Web Assembly 音频解码器库的项目，专为浏览器和 NodeJS 环境优化，支持同步和异步解码，并提供了多种编解码器的支持

基于CogvideoX结构的智能视频生成工具，能够灵活地在关键帧之间进行视频插值生成，创造出流畅的动画效果

CogvideX-Interpolation | #工具

一个注重简单和可扩展性的人工智能网页浏览框架，主要功能是提供自然语言驱动的网页自动化操作

Stagehand | #框架

Music Composer：Python的音乐创作应用，帮用户创建和编辑音乐作品，特色在于旋律生成、事件调度和MIDI文件导出