实时数据在数据分析和应用开发中越来越关键，但找到高质量、公开且实时更新的数据源并不容易。

bytewax 整理了一份非常全面的公开实时数据集和数据源清单，涵盖金融、区块链、交通、天气、物联网、安全、新闻等多个领域，既有免费的也有付费的，支持通过 HTTP 或 WebSocket 等方式访问。

这份资源对数据科学家、开发者和研究人员极具价值，方便快速接入和使用实时数据，加速数据驱动的应用开发和研究。

主要内容包括：

- 金融市场实时行情与区块链交易数据源，如 Coinbase、Binance、 Polygon.io 等；
- 交通运输实时数据，包括英国铁路、纽约公交、瑞士公共交通等；
- 天气和环境监测数据，如 NOAA、Open Weather API、EPA 空气质量数据；
- 网络安全实时威胁情报和证书透明度日志；
- 新闻实时聚合和事件流，涵盖多家主流媒体和技术社区；
- 物联网传感器实时数据渠道及卫星轨迹追踪；
- 还包括多种付费优质数据服务，满足专业需求。

Awesome Public Real-Time Datasets and Sources | #数据集

SoundMind 推出首个面向复杂推理的音频逻辑推理（ALR）数据集，涵盖6,446个音频与文本双模态链式思维注释样本，推动音频语言模型突破传统边界。| #数据集

• 创新点：基于规则的强化学习算法，专为赋能大规模音频语言模型实现深度双模态逻辑推理设计。
• 数据规模：6,446条高质量标注，涵盖训练、测试、验证集，支持链式思维推理，提升模型理解复杂语义的能力。
• 技术细节：依赖 Verl 框架，推荐8×NVIDIA H800/H100 80GB GPU，Python ≥3.9，CUDA≥12.1，确保高效训练与推理。
• 实用工具：提供多种数据预处理脚本，支持仅文本、仅音频或双模态输入，灵活适配各类研究需求。
• 开源透明：MIT许可协议，代码、数据集与模型权重均公开，便于复现与二次开发。
• 研究价值：打破单一模态推理瓶颈，强化音频与文本的逻辑联结，推动音频语言理解迈入新阶段。

TexVerse：一个涵盖超85万高质量3D模型及高分辨率材质的大型开放数据集，专为视觉计算、图形学研究与应用打造。| #数据集

• 数据规模：858,669个独特3D模型，包含158,518个基于物理渲染（PBR）材质模型，支持2K、4K、8K超高清纹理。
• 多样变体：每个模型含所有高分辨率变体，累计1,659,097个3D实例，满足细粒度需求。
• 动画与骨骼：专门子集包含69,138个绑定骨骼模型与54,430个动画模型，保留用户原始文件格式，确保骨骼与动画完整性。
• 细致标注：涵盖整体特征、结构组件及精细特征，便于深入分析与训练。
• 开放授权：所有模型均采用Creative Commons许可，支持广泛共享与再利用。
• 下载方式：高分辨率纹理集中托管于TexVerse，1K纹理另有独立资源，动画与骨骼数据联合托管，资源详见metadata文件。

TexVerse为三维内容创作与AI视觉应用提供了坚实数据基础，是推动高精度3D理解与生成的宝贵资源。

一个大规模、高难度、去污染且可验证的数学数据集，助力数学推理能力的提升。

包含103,000道高难度数学题目，难度主要集中在5-9级；覆盖广泛的数学主题，包括代数、微积分、数论、几何、概率和离散数学；经过严格去污染处理，确保数据纯净，避免测试集泄露

DeepMath | #数据集

音频效果研究数据库，提供科学文献资源，特色在于使用Notion™️动态表格的可视化，支持过滤、排序和标签功能，便于更新和管理音频效果相关文献

AFX-Research | #数据库

关于学习数据科学的新版路线图，包括深入学习Python编程语言，统计学，数据库，机器学习，深度学习，自然语言处理以及MLOPS(机器学习运维)，提供了广泛的学习资源和实际项目实践，是学习数据科学的理想指南。

Perfect Roadmap To Learn Data Science In 2024 | #数据科学 #路线图

一个用于传输中的嵌套、非结构化、多模态数据的库，包括文本、图像、音频、视频、3D 网格等。它允许深度学习工程师使用 Pythonic API 高效地处理、嵌入、搜索、推荐、存储和传输多模态数据。

🚪 跨/多模态世界的大门：用于表示复杂/混合/嵌套文本、图像、视频、音频、3D 网格数据的超表现力数据结构。吉娜的基础数据结构，CLIP-即服务，DALL·E流，迪斯科艺术等

🧑‍🔬 数据科学强国：通过CPU/GPU上的Torch/TensorFlow/ONNX/PaddlePaddle，大大加快数据科学家在嵌入、k-NN匹配、查询、可视化和评估方面的工作。

🚡 传输中的数据：针对网络通信进行了优化，随时可以在线连接，在 Protobuf、bytes、base64、JSON、CSV、DataFrame 中进行快速和压缩的序列化。非常适合流式传输和内存不足数据。

🔎 一站式k-NN：主流矢量数据库的统一一致的API，允许最近的邻居搜索，包括Elasticsearch，Redis，ANNLite，Qdrant，Weaviate。

👒 对于现代应用程序：GraphQL 支持使您的服务器在请求和响应时具有多功能性;内置的数据验证和 JSON 架构 （OpenAPI） 可帮助您构建可靠的 Web 服务。

🐍 Pythonic 体验：设计得像 Python 列表一样简单。如果你知道如何Python，你就知道如何DocArray。直观的习语和类型注释简化了您编写的代码。

🛸 与IDE集成：在Jupyter笔记本和Google Colab上实现漂亮的打印和可视化;PyCharm & VS Code 中的全面自动完成和类型提示。

DocArray由三个简单的概念组成：

文档：一种数据结构，用于轻松表示嵌套的非结构化数据。
DocumentArray：用于高效访问、操作和理解多个文档的容器。
数据类：用于直观地表示多模态数据的高级 API。

DocArray | #数据库

古籍开放网站 | #古籍 #数据库 #图书馆

上图家谱
上图古籍
湖北方志库
四川省图书馆古籍平台
苏州市吴江区图书馆
枣庄市图书馆古籍文献
唐河图书馆馆藏古籍资源库
内江师范学院“师山学馆”数据库
洛阳市图书馆馆藏珍贵古籍全文数据库
浙江大学图书馆古籍碑帖研究与保护中心中国历代墓数据库