基于大模型数据联盟构建的语料库，上海AI实验室对其中部分数据进行了细粒度清洗、去重以及价值梳理，形成了书生·万卷1.0，具备多元融合、精细处理、价值梳理、数学高效等四大特征。
在多元方面，书生·万卷1.0包含文本、图文、视频等多模态数据，范围覆盖科技、融合、媒体、教育、法律等多个领域，在训练提升模型知识内涵、逻辑推理和泛化推理化能力方面具有显着效果。
在精细化处理方面，书生·万卷1.0经历了甄别语言、正文抽取、格式标准化、基于规则及模型的数据过滤与清洗、多维度重整、数据质量评估等精细化数据处理环节，从而能够更好接地装配后续的模型训练需求。
在价值洞察方面，研究人员在书生·万卷1.0的构建过程中，着眼于内容与中文主流价值观结合的洞察，通过算法与人工评估的方式，提升了语料的纯净度。
在高效建模方面，研究人员在书生·万卷1.0统一格式，并提供了详细的参数字段说明和工具指南，综合考虑了建模性和效率，可快速评估语言、多模态等大模型训练。
目前，书生·万卷1.0已被评估书生·多态、书生·浦语的训练。通过对高质量语料的“消化模型”，书生系列模型在语义理解、知识问答、视觉理解、视觉问答等各类生成式任务表现出了优异的性能。
WanJuan1.0 | #语料库
Virtual Writing Tutor免费 #英语 #语法检测 #工具 ，功能非常多样，可以进行字数计算、单词拼写检测、语句语法检测、查字典、打印等工作。将需要检测的内容贴到文本框内，选择需要的功能即可，供大家参考使用。
COCA：美国当代 #英语 #语料库 是目前最大的免费英语语料库，它由包含 5.2 亿词的文本构成，这些文本由口语、小说、流行杂志、报纸以及学术文章五种不同的文体构成。从 1990 年至 2015 年间语料库以每年增加两千万词的速度进行扩充，以保证语料库内容的时效性。因此，美国当代英语语料库被认为是用来观察美国英语当前发展变化的最合适的英语语料库。
使用方法
BNC：
英国国家语料库（British National Corpus）是目前世界上非常有代表性的当代英语语料库之一，由英国牛津出版社、朗文出版公司、牛津大学计算机服务中心、兰卡斯特大学英语计算机中心以及大英图书馆等联合开发建立。以来源广泛的书面语和口语为样本，呈现了20世纪后期以来的英式英语。其中词容量超过一亿，书面语占90%，口语占10%。BNC包含了各个年龄段、各个社会阶层的语言，覆盖英国语言的方方面面。整个语料库包含4054篇文本取样，每篇抽样文本的长度不超过45000词。
ANC：美国国家语料库（American National Corpus）记录了20世纪90年代以来，2200万美式英语的口语和书面语词汇。它是目前规模最大的关于美式英语使用现状的语料库，也极大地促进了语料库语言学的发展。
杨伯翰大学语料库 由美国杨伯翰大学Mark Davies教授开发，语料库库容量为3. 6亿词汇，涵盖美国1990年至2007年间的各种类型语料，是当今世界上最大的英语平衡语料库。与其它语料库不同的是，它是免费在线供大家使用，给全世界英语学习者带来了福音，是不可多得的一个英语学习宝库，也是观察美国英语使用和变化的一个绝佳窗口。
使用方法
BNC：
英国国家语料库（British National Corpus）是目前世界上非常有代表性的当代英语语料库之一，由英国牛津出版社、朗文出版公司、牛津大学计算机服务中心、兰卡斯特大学英语计算机中心以及大英图书馆等联合开发建立。以来源广泛的书面语和口语为样本，呈现了20世纪后期以来的英式英语。其中词容量超过一亿，书面语占90%，口语占10%。BNC包含了各个年龄段、各个社会阶层的语言，覆盖英国语言的方方面面。整个语料库包含4054篇文本取样，每篇抽样文本的长度不超过45000词。
ANC：美国国家语料库（American National Corpus）记录了20世纪90年代以来，2200万美式英语的口语和书面语词汇。它是目前规模最大的关于美式英语使用现状的语料库，也极大地促进了语料库语言学的发展。
杨伯翰大学语料库 由美国杨伯翰大学Mark Davies教授开发，语料库库容量为3. 6亿词汇，涵盖美国1990年至2007年间的各种类型语料，是当今世界上最大的英语平衡语料库。与其它语料库不同的是，它是免费在线供大家使用，给全世界英语学习者带来了福音，是不可多得的一个英语学习宝库，也是观察美国英语使用和变化的一个绝佳窗口。
