实时数据在数据分析和应用开发中越来越关键,但找到高质量、公开且实时更新的数据源并不容易。

bytewax 整理了一份非常全面的公开实时数据集和数据源清单,涵盖金融、区块链、交通、天气、物联网、安全、新闻等多个领域,既有免费的也有付费的,支持通过 HTTP 或 WebSocket 等方式访问。

这份资源对数据科学家、开发者和研究人员极具价值,方便快速接入和使用实时数据,加速数据驱动的应用开发和研究。

主要内容包括:

- 金融市场实时行情与区块链交易数据源,如 Coinbase、Binance、 Polygon.io 等;
- 交通运输实时数据,包括英国铁路、纽约公交、瑞士公共交通等;
- 天气和环境监测数据,如 NOAA、Open Weather API、EPA 空气质量数据;
- 网络安全实时威胁情报和证书透明度日志;
- 新闻实时聚合和事件流,涵盖多家主流媒体和技术社区;
- 物联网传感器实时数据渠道及卫星轨迹追踪;
- 还包括多种付费优质数据服务,满足专业需求。

Awesome Public Real-Time Datasets and Sources | #数据集
数据库备份和恢复任务繁琐又容易出错,多个工具切换更让运维头疼。

Onedump 是一款开源的数据库管理工具,专注于简化多种数据库的备份与恢复流程,一键搞定数据库数据导出和同步。| #数据库 #工具

它支持 MySQL 和 PostgreSQL,除了内置无依赖的 MySQL 原生转储器,还兼容 mysqldump 和 pg_dump,满足不同场景需求。

主要功能包括:

- 多源数据库备份到多目标存储(本地、AWS S3、Google Drive、Dropbox、SFTP);
- MySQL binlog 备份和恢复,实现精准的时间点恢复;
- 支持断点续传和并发的 SFTP 文件传输;
- 内置 MySQL 慢日志解析工具,方便性能分析;
- 配置文件可本地或直接从 S3 加载,支持集群和容器化部署;
- Slack 通知集成,实时掌握备份状态。

支持跨平台使用,既有方便的二进制文件,也有包含所有依赖的 Docker 镜像,适合 DBA、开发者和运维团队。
TexVerse:一个涵盖超85万高质量3D模型及高分辨率材质的大型开放数据集,专为视觉计算、图形学研究与应用打造。| #数据集

• 数据规模:858,669个独特3D模型,包含158,518个基于物理渲染(PBR)材质模型,支持2K、4K、8K超高清纹理。
• 多样变体:每个模型含所有高分辨率变体,累计1,659,097个3D实例,满足细粒度需求。
• 动画与骨骼:专门子集包含69,138个绑定骨骼模型与54,430个动画模型,保留用户原始文件格式,确保骨骼与动画完整性。
• 细致标注:涵盖整体特征、结构组件及精细特征,便于深入分析与训练。
• 开放授权:所有模型均采用Creative Commons许可,支持广泛共享与再利用。
• 下载方式:高分辨率纹理集中托管于TexVerse,1K纹理另有独立资源,动画与骨骼数据联合托管,资源详见metadata文件。

TexVerse为三维内容创作与AI视觉应用提供了坚实数据基础,是推动高精度3D理解与生成的宝贵资源。
覆盖全球的多模态时空数据集,为研究地球环境变化提供丰富资源,支持跨学科分析

NeurIPS24-Terra | #数据集
MidiCaps:大规模MIDI文件标注数据集,为音乐内容分析提供全面特征,包括节奏、和弦进行、拍号、乐器存在、流派和情绪等,支持从个人MIDI文件集合生成描述性文本 | #数据集
4篇系列博客介绍矢量数据库 | link | #数据库

Vector databases (Part 1): 它们各自的不同之处在哪里?
Vector databases (Part 2): 了解其内部结构
Vector databases (Part 3): 并非所有索引都是一样的
Vector databases (Part 4): 分析权衡
用 SQL 查询和分析分布式数据的数据库系统 | GlareDB | #数据库
高效的图数据库,支持高数据量、低延迟查找和快速图分析

TuGraph | #数据库
抗疫研学— #医学 专业电子资源

PubMed 是由美国国家医学图书馆的国家生物技术信息中心开发的生物医学文献数据库查询系统,收录了来自MEDLINE、生命科学期刊和在线图书的3000多万篇生物医学文献,并提供生物化学与细胞生物学等相关生物医学的资讯。PubMed可以通过Mesh主题词进行检索,内容附有指向全文的链接,Books(相关图书)可链接到相关参考书籍的文摘页。同时PubMed提供Nucleotide、Protein、Genome、Structure、Popset、Taxonomy、OMIM等生物医药相关数据库的查询方式

SinoMed中国生物医学文献数据库 整合了中国生物医学文献数据库(CBM)全文版、中国生物医学文献学术分析、北京协和医学院博硕学位论文库、中国医学科普文献数据库等多种资源,是集检索、开放获取、个性化定题服务、全文传递服务于一体的生物医学中外文整合文献服务系统。其收录了1978以来1800多种中国生物医学期刊,以及汇编、会议论文的文献题录800余万篇,全部题录均进行主题标引和分类标引等规范化加工处理,覆盖基础医学、临床医学、预防医学、药学、口腔医学、中医学及中药学等生物医学的各个专业领域。

MEDLINE是美国国家医学图书馆(National Library of Medicine)编辑出版的国际综合生物医学信息书目 #数据库 ,是当今世界上最大也是最权威的生物医学文献数据库,收录有关医药、护理、牙科、兽医、医疗保健制度、临床科学等方面的权威医学信息。MEDLINE采用了包含树、树层次结构、副标题的MeSH(医学主题词表)索引方法,可从4,800多种医学期刊中检索文献。MEDLINE可通过EBSCO、Web of Science、OCLC平台访问。

进入页面后请选择“One-stop search for all EBSCOhost databases”选项,进入搜索页面后点击搜素框上方的“Choose Databases”选择MEDLINE数据库。

LWW/Lippincott Williams & Wilkins医学期刊库(OVID平台),一家专业医学出版社,为全球众多医师、专业临床医生、护理人员和医科学生提供高质量全文资源。LWW医学期刊库覆盖了生物学和医学等领域,目前我校师生可通过OVID平台访问该数据库近500种期刊。OVID公司是著名的、以医学为主要学科内容的电子产品商,该校师生还可通过OVID平台访问Journal of Bone and Joint Surgery(JBJS)骨与关节外科杂志从1993年至今的数据。

The Cochrane Library循证医学是国际Cochrane协作网的主要产品,由Wiley公司出版发行,汇集了全球最佳医学研究的综合性成果,被公认为循证医疗健康领域的“金标准”,是一个提供高质量证据的数据库,是临床研究证据的主要来源。目前我馆购买了The Cochrane Library 循证医学数据库的所有资源的全部年度访问权

ProQuest Health & Medical Complete 是ProQuest公司开发的医学全文数据库,全文以PDF或文本加图像格式存储,收录1969年以来4441种重要的基础医学、临床医学、卫生健康方面等专业期刊,涵盖护理学、内科学、儿科学、神经学、药理学、心脏病学、物理治疗以及新增的公共卫生和卫生管理等

The New England Journal of Medicine (NEJM)/新英格兰医学杂志 由马萨诸塞州医学会( Massachusetts Medical Society)所出版的同行评审医学期刊和综合性医学期刊,其内容涉及20 多个专业学科领域。现刊部分包含约31,000篇文章,以及55,000个图片,音频,视频等

中华医学会杂志社是以编辑出版中华医学会主办的各类医学期刊为主要任务的全国性医学期刊出版机构,截至目前中华医学会主办的医学期刊已达140余种,发行至世界60多个国家和地区

JoVE实验视频期刊数据库 JoVE出版社于2006年创办JoVE实验视频期刊,致力于以视频方式展现生物学、医学和化学等学科领域的研究过程与成果。实验视频来源于哈佛大学、斯坦福大学等世界著名高校及学术研究机构的实验室。目前该馆购买了9个学科专辑:Biology、Neuroscience、Medicine、Chemistry、Immunology and Infection、Developmental Biology、Bioengineering、Behavior、Cancer Research。

ASM/美国微生物学会期刊 美国微生物学会的期刊是微生物学领域最杰出的出版物,全面促进基础和临床微生物学领域的各项研究,其出版文章数量超过微生物学领域全部论文量的1/4,文章引用量几乎占所有微生物学论文引用数量的42%。目前此馆购买了ASM数据库所有期刊的年度访问权

Bentham Science 药学全文期刊数据库 Bentham Science出版公司,作为国际STM出版社之一,所有期刊均被权威文摘/索引机构收录,学科范围覆盖有药学、医学以及专利等。目前我校可使用Bentham Science数据库2009年以来127种期刊;34种OA图书;250多种OA期刊

USMLEasy/美国职业医师资格考试医学数据库 USMLEasy是美国医师资格考试备考的权威网站,提供美国职业医师资格考试Step 1,Step 2CK和Step3的所有备考资料,含有数以千计的在线考试题目,涉及美国职业医师资格考试的所有学科和知识点。所有问题都来自McGraw-Hill出版的权威系列考试辅导书籍,其中包括PreTest系列、LANGE和Q&A系列。数据库可模拟Step 1和 Step 2 CK的考试的出题模式,模拟实际考试

NMR库/有机化合物核磁共振碳谱数据库 NMR库由上海微谱信息技术有限公司出版,为药学、化学等学科从事天然产物研究、合成和药物开发的研究人员提供信息查询服务,以便快速确定已知化合物和新化合物的结构。微谱数据库收录化合物102余万个,包含收录化合物名称、分子式及文献信息的化合物信息库和收录有机化合物的碳谱数据及结构图的碳谱库,两个子库动态关联
Fluid Data 是一个基于公共 #音频 #数据库 和搜索 #API 的站点,可以帮助用户从海量的音频文件中搜索出你想要的关键字,达到的效果是允许你在数秒内搜索数百万的音频文件中找到想要额关键词内容。

Fluid Data 属于强大的搜索+分析系统,能够让使用者快速研究感兴趣的主题并获得可操作的见解,使用Fluid Data API可以改造出你想要的任何功能型分析平台,如公共音频数据库,音频内容检索系统、私人数据收集系统等
中国国家调查数据库 是由中国人大调查与数据中心负责执行的经济与社会数据共享平台,不仅内容广泛、质量可靠,定期发布的数据分析文章也值得一看。主要利用关键词作为检索方式,再通过类别、执行时间和地域进一步筛选,结果可以直接跳转到相应的官网,操作起来方便又简洁 #数据库
学术格子 管理学术成果的专业平台
数据堂 专业数据处理预公司
中科易研 为学校科研机构提供数据录入、清洗、分析等服务 #数据服务
溪流数据 专注临床科研数据一体化平台 ​​​
艾瑞网 互联网大数据资讯聚合平台,提供行业报告、研究和数据
企鹅智酷 腾讯旗下互联网产业趋势研究、案例与数据分析机构
中国互联网网络信息中心 权威发布中国互联网统计信息,中国互联网调查社区
人民日报图文数据库 人民日报电子版,可搜索1946年以后全部人民日报内容,提供PDF下载
慧科新闻媒体数据库 实时电子新闻数据库,提供人民日报、第一财经日报等300家国内媒体以及港澳台、东南亚、欧美等国家超700份媒体电子新闻。
知微事见 基于人工智能的大数据分析平台,提供热点事件库及舆论热度分析
人民网舆情频道 提供舆情资讯、舆情观察、舆情榜单,并链接人民在线平台(基于大数据分析技术的融媒体时代新型智库) #数据库
黑洞资源笔记
酷炫数据 #可视化 #工具 iCharts是基于云端的趋势预测视觉分析平台,它可以快速地将复杂的商业信息、大规模调查数据和动态数据研究的结果可视化。它非常的快速简便,但却可以根据实时数据创造出富有冲击力的视觉智能图像,并且可以为你带来全方位信息聚合和信息对比。 Gliffy可以帮助你制作专业级流程图、组织图、UML分析图(Unified Modeling Language,统一建模语言,译注)、线框图、技术制图等等,而且它兼容所有的浏览器。Gliffy使用HTML5编辑器,速度是Flash的两倍。它提供一…
酷炫数据 #可视化 #工具 #数据集
HighCharts
通过HighCharts你可以为网站项目制作交互式图表。它的用户非常广泛(全世界最大的100家公司里面有61家以及成千上万的开发人员都在使用)。如果是为个人网站或非盈利组织使用这个软件,它将是免费的。HighCharts是建立在HTML5上的,在现代的浏览器包括移动、平板设备上运行,也支持过时的IE浏览器(IE6之后的都可以)。它同时也是动态的,你可以自由添加、移除、修改数据列(Series)和关键点(Points)。这款app支持多种类型的图表:折现图、样条曲线、面积图、曲线面积图、柱状图、条状图、饼状图和散点图等等。
ZingChart是一个强大的库,为用户提供了快速创造漂亮的图表、操作面板和信息图表的可能性。你可以在上百种图表类型中自由选择,你的设计和个性化要求不会受到任何限制。你也可以使你的用户通过交互式图表特性参与到你的作品之中。
D3.js是数据驱动文件(Data-Driven Documents)的缩写,他通过使用HTML\CSS和SVG来渲染精彩的图表和分析图。D3对网页标准的强调足以满足在所有主流浏览器上使用的可能性,使你免于被其他类型架构所捆绑的苦恼,它可以将视觉效果很棒的组件和数据驱动方法结合在一起。
Polymaps 如果你在找一款可同时使用位图和SVG矢量地图的JavaScript库,那么Polymaps正是你需要的。它为地图提供的多级缩放数据集方面表现非常迅速,并且可支持矢量数据的多种视觉表现形式。更棒的是,Polymaps可以在很大的尺度范围上加载数据。它使用的是球形墨卡托投影的tile格式,因此快到弹指间便可发布信息。
Dipity也是一款做时间轴的工具,用于管理网站上的时间和日期相关内容非常有效。用户可以创造并分享他们精彩的交互式时间轴,内容形式多种多样,包括音频、视频和图像甚至社交媒体频道。它对纸媒从业者、记者和博主来说简直必不可少。
Visual.ly是一个综合图库和信息图表生成器。它的工具很简单,却可创造出亮眼的数据展示作品。另外,你还可以在它的平台上分享你的图像。他能在内容上比一般的视觉分析工具表达更深入
WolframAlpha把自己称作计算型知识引擎、谷歌在分析领域的劲敌。它最棒的一点是在显示图表时可以不需要任何配置就响应数据请求。如果你用的是公开的数据,那么你只需一个简单的小部件生成器就能在你的网页上轻松加入可视化数据。
InstantAtlas让信息分析师和研究者得以创建交互式动态分配图报告,并结合统计数据和地图数据来优化数据可视化效果。如果你正在寻找一个可以制图的数据映射工具,那么恭喜你,就是它了。
Timeline.js会让你爱上制作漂亮的时间轴,因为它的操作非常简单直观。这是一款支持40种语言的开源工具,通过它你可以建立自己的可视化互动时间轴,还可从各种途径置入到媒体中,目前已支持Twitter、Flickr、Google Maps、YouTube、Vimeo、Vine、Dailymotion、Wikipedia、SoundCloud等
报刊搜索网站合集 #数据库

1、全国报刊索引 http://www.cnbksy.cn/home

字林洋行中英文报纸全文数据库(1850~1951),收录了《北华捷报》、《字林西报》、《上海新报》、《沪报》、《汉报》、《消闲报》、《字林西报行名录》等中英文报纸,合约55万版。新闻报收录了1893-1949期间约合36.5万版报纸。收录的报纸保存了近百年间中国国家政治和社会生活的珍贵史料,分别从不同立场、不同视角和不同层次反映了中国近代史,可为相关领域的研究人员提供丰富的信息,具有重要的学术意义。

2、红色报刊档案数据库

http://hsbk.goosuudata.com/Home/Login/index.html

包含从1921年7月1日中国国内产党诞生到1949年10月1日新中国成立这个时期内,由中国共产党直接领导或间接创办的党报党刊。

3、瀚堂近代報刊

http://www.neohytung.com/

從香港的《遐邇貫珍》、北京的《順天時報》、天津的《大公報》、《益世報》、《北洋畫報》,到上海的《上海新報》和《申報》,【瀚堂近代報刊】數據庫2000萬餘筆,兩萬五千種報刊資料可使讀者貼近和發現一個更加真實的近代中國。

4、香港旧报纸Old HK Newspapers - MMIS

https://sc.lcsd.gov.hk/TuniS/mmis.hkpl.gov.hk/web/guest/old-hk-collection

5、人民数据-人民日报图文数据库(1946-2019)

http://data.people.com.cn/rmrb/20190103/1?code=2

收录了自1946至2008年12月31日人民日报的全部图文信息及版式,数据量达20亿汉字。该数据库提供了日期、版次、栏目、作者、关键词等字段检索,并可进行PDF和文本双平台全文检索以及版式浏览和检索。

6、NewsBank世界各国报纸全文库

http://infoweb.newsbank.com

《世界各国报纸全文库》(Access World News)是美国NewsBank公司最具代表性的数据库之一,也是全球最大与增长最快的报纸数据库。提供1,800余种世界各地主要报纸(其中包括200家左右主要通讯社与10余家主要电视台)。报纸库有非常强的时效性,每天更新,可以看到当天大部分报纸。全库每天新增文章10万篇以上。

7、爱如生中国近代报刊库

http://er07.com/home/pro_88.html

报刊类出版物,包括日报、周报、月报等各种报纸,周刊、半月刊、月刊、双月刊、季刊、半年刊、年刊、不定期刊等各种杂志,是中国近代在西方影响下出现的新态载体,由于其及时、深入、巨细无遗地报导记述了国家政治和社会生活的各个方面,犹如近代中国的百科全书。

8、华文报刊文献数据库

http://www.huawenku.cn/index.html

《华文库》规划从清朝嘉庆年间至今两百年的4000种报刊中,挑选十分之一实施数字化,建立拥有4000亿汉字和4亿篇文章的海量历史文献库。该库将浓缩两个世纪中华民族的思想精华展示华人世界的百年追求、社会变迁、文化兴衰。《华文库》将从历史文献中抢救、发掘和整合文化资源,结合先进的数字技术 ,创建新兴的出版发行业态数据内容包括400种报刊,其中200种近代报刊,200种现代报刊。

9、金报兴图报纸、期刊全文库

http://10.4.131.234/gndl/goldennp/index_b.asp

收录 17 种报纸。 参考消息 经济日报 人民日报 经济参考报 中国妇女报; 政治·军事·法律类: 中国知识产权报; 新闻·出版·文物·档案类:中国图书商报 中华读书报; 经济综合·财税金融类:金融时报 中国企业报。

10、中國近代報刊《大公報:1902~1949》

http://tk.cepiec.com.cn/tknewsc/tknewskm?@@0.5795312083041766

天津、上海、重慶、漢口、桂林、香港及大公晚報等全文資料。

11、New York Times 纽约时报

http://search.proquest.com/?accountid=41097

《纽约时报》(The New York Times)是一份在美国纽约出版的日报,在全世界发行,有相当的影响力,美国高级报纸、严肃刊物的代表,长期以来拥有良好的公信力和权威性。该库收录的时限为1851年至2014年。

12、Christian Science Monitor(1908-2004)基督教科学箴言报

http://search.proquest.com/?accountid=41097

《基督教箴言报》于1908年创刊于美国波士顿,报纸名称中虽然包含“基督教”,但它并不是一份纯宗教报纸。该报报道的内容以社会、政治和经济方面的严肃新闻为主,以善于报道国内国际重大事件,并对其进行见解独到的评述和分析而著称。

13、近现代中国英文报纸库

http://search.proquest.com/hnpchinesecollection/news/fromDatabasesLayer?accountid=41097

近现代中国英文报纸库(1832-1953) 收录了从1832到1953年间出版发行的12份关于近现代中国的英文报纸。这些报纸收录的内容具有非常重要的史料价值,所刊内容从独特的视角,对中国近现代史上最为动荡的120年间发生的政治和社会生活动态进行了全面的报道;例如:太平天国运动、鸦片战争、义和团运动、辛亥革命、抗日战争及第二次世界大战期间近现代中国和日本的关系等。

14、南华早报

http://search.proquest.com/hnpsouthchinamorningpost/index?accountid=41097

南华早报》是香港首屈一指的英文报章。《南华早报》以权威、独立、具影响力的报导,受大中华和亚洲地区读者的一致推崇。该报由克宁汉(Alfred Cunningham)与谢缵泰于1903年创立,由于谢缵泰是20世纪中国反清朝起义转折时期的关键人物,从而使这份报纸成为了倡导清末新政的平台。由于香港独一无二的历史以及《南华早报》对日本和中国的社评观点, 研究者给予该报相当高的评价。

15、申报网址

http://spcass.egreenapple.com

《申报》涵盖了本报1872年4月30日创刊至1949年5月27日停刊的全部报载内容,完整收录本报上海版、汉口版、香港版资料共约四十二万版,保留了全部版面图文信息。

16、中国重要报纸全文数据库

http://10.4.131.53/kns55/brief/result.aspx?dbPrefix=CCND

收录2000年以来中国国内重要报纸刊载的学术性、资料性文献的连续动态更新的数据库。至2012年10月,累积报纸全文文献1000多万篇。

17、 卫报观察家报(1791-2004)

http://search.proquest.com/?accountid=41097

The Guardian and The Observer (1791-2003) 卫报观察家报,提供了从拿破仑滑铁卢惨败,到俄国革命,再到曼德拉从监狱释放这些事件的一手资料和过去两个世纪的每一天中最显著喝引人入胜的政治、经济、体育、文学、娱乐事件的评论观点,对于改变19世纪和20世纪整个世界的重大事件不惧采取有争议的立场。

18、华尔街日报

http://search.proquest.com/?accountid=41097

华尔街日报,创刊于1889年,以超过200万份的发行量成为美国付费发行量最大的财经报纸,着重在财经新闻的报道,其内容足以影响每日的国际经济活动。

19、华盛顿邮报

http://search.proquest.com/hnpwashingtonpost/index?accountid=41097

《华盛顿邮报》历史报纸数据库的时间收录范围为1877-1998。1970年代初通过揭露水门事件和迫使理查德·尼克松总统退职,《华盛顿邮报》获得了国际威望。许多人认为它是继《纽约时报》后美国最有声望的报纸。由于位于美国首都,它尤其擅长报道美国国内政治动态,而《纽约时报》则在报道国际事务上更加有威望。

20、报刊索引库_中国人民大学复印报刊资料

http://ipub.exuezhe.com/bk.html

该数据库汇集了自1978年至今的百余个专题刊物上的全部题录。按学科分为九大类,包括:法律类、经济学与经济管理类、教育类、历史类、文学与艺术类、文化信息传播类、哲学类、政治学与社会学类和其他类。大类之下的类目设置多为列举式,一般设置四级类目,个别类目已深入揭示到七级类目。该数据库共计数据量470多万条,每条数据包含专题代号、类目、篇名、著者、原载报刊名称及刊期、复印专题名称及刊期等多项信息
 
 
Back to Top