面向计算机视觉的Mamba相关论文资源列表 | Mamba-in-Computer-Vision
模拟群聊的交互工具,旨在促进更好的集体群体行为,旨在帮助研究人类群体行为,并为研究人类行为提供有用的工具

Agent Group Chat | #工具
ComfyUI ArtGallery | Prompt Visualization:用于可视化提示词的项目,提供了五大类提示词参考图,包括艺术家、艺术运动、艺术媒介、相机镜头和胶片相机
repo2pdf:将 GitHub 仓库转换为 PDF 文件的工具 | #工具
qwen-vllm - 通义千问VLLM推理部署DEMO

核心技术原理
本项目旨在探索生产环境下的高并发推理服务端搭建方法,核心工作非常清晰,边角细节没有投入太多精力,希望对大家有帮助

vLLM支持Continuous batching of incoming requests高并发批推理机制,其SDK实现是在1个独立线程中运行推理并且对用户提供请求排队合批机制,能够满足在线服务的高吞吐并发服务能力

vLLM提供asyncio封装,在主线程中基于uvicorn+fastapi封装后的asyncio http框架,可以实现对外HTTP接口服务,并将请求提交到vLLM的队列进入到vLLM的推理线程进行continuous batching批量推理,主线程异步等待推理结果,并将结果返回到HTTP客户端

vLLM天然支持流式返回next token,基于fastapi可以按chunk流式返回流式推理成果,在客户端基于requests库流式接收chunk并复写控制台展示,实现了流式响应效果
surya-rs:基于 Rust 语言实现的多语言文档 OCR 工具包,基于修改版 Segformer、OpenCV 和 donut transformer 实现
Awesome Cloudflare - 精选的 Cloudflare 工具、开源项目、指南、博客和其他资源列表
Awesome-LLM-SoftwareTesting:关于在软件测试中使用大型语言模型 (LLM) 的论文和资源的集合。

LLM已成为自然语言处理和人工智能领域的突破性技术。这些模型能够执行各种与编码相关的任务,包括代码生成和代码推荐。因此,在软件测试中使用LLM预计会产生显着的改进。一方面,软件测试涉及诸如单元测试生成之类的任务,这些任务需要代码理解和生成。另一方面,LLM可以生成多样化的测试输入,以确保全面覆盖正在测试的软件。

此存储库对LLM在软件测试中的运用进行了全面回顾,收集了 102 篇相关论文,并从软件测试和法学硕士的角度进行了全面的分析。
aixcoder-7B 是一种代码大语言模型,旨在理解和生成跨多种编程语言的代码,提供最先进的代码补全、理解、生成等能力
Back to Top