百科语料就是维基百科（Wikipedia[25]）的下载数据_mt4中文网近期，ChatGPT成为了全网热议的话题。ChatGPT是一种基于大范围讲话模子工夫（LLM， large language model）竣工的人机对话器材。然则，倘若咱们思要陶冶本人的大范围讲话模子，有哪些公然的资源可能供给佐理呢？正在这个github项目中，黎民大学的先生同窗们从模子参数（Checkpoints）、语料和代码库三个方面，为大师摒挡并先容这些资源。接下来，让咱们一同来看看吧。

　　从曾经陶冶好的模子参数做精调、络续陶冶，无疑可能极大地低落估计打算本钱。那目前有哪些开源的大模子参数，可能供咱们拣选呢？

　　个中，Flan-T5始末instruction tuning的陶冶；CodeGen静心于代码天生；mT0是个跨讲话模子；PanGu-α有大模子版本，而且正在中文下逛职司上体现较好。

　　陶冶大范围讲话模子，陶冶语料弗成或缺。苛重的开源语料可能分成5类：竹素、网页爬取、社交媒体平台、百科、代码。

　　社交媒体平台语料苛重获取自Reddit平台。WebText包罗了Reddit平台上的高赞实质，然而而今曾经不供给下载，而今可能用OpenWebText[23]代替。另外，PushShift.io[24]供给了一个及时更新的Reddit的一齐实质。

　　百科语料即是维基百科（Wikipedia[25]）的下载数据。该语料被平常地用于众种大讲话模子（GPT-3, LaMDA, LLaMA 等），且供给众种讲话版本，可用于接济跨讲话模子陶冶。

　　代码语料苛重来自于GitHub中的项目，或代码问答社区。开源的代码语料有谷歌的BigQuery[26]。大讲话模子CodeGen正在陶冶时就利用了BigQuery的一个子集。

　　除了这些简单实质源泉的语料，又有少许语料集。比方 the Pile[27]统一了22个子集，构修了800GB范围的同化语料。而 ROOTS[28]整合了59种讲话的语料，包罗1.61TB的文本实质。

　　利用代码库，可能佐理你迅疾搭修模子布局，而不消一个个矩阵乘法地搭修transformers布局。全部而言，蕴涵以下7个：

　　Transformers[29]是Hugging Face构修的用来迅疾竣工transformers布局的库。同时也供给数据集打点与评判等联系效力。运用平常，社区生动。

　　Colossal-AI[33]是EleutherAI基于JAX拓荒的一个大模子陶冶器材，接济并行化与同化精度陶冶。迩来有一个基于LLaMA陶冶的对话运用ColossalChat即是基于该器材构修的。

　　BMTrain[34] 是 OpenBMB拓荒的一个大模子陶冶器材，夸大代码简化，低资源与高可用性。正在其ModelCenter中，曾经构修好如Flan-T5 与 GLM等模子布局可供直接利用。

　　FastMoE[35] 是一个基于pytorch的用于搭修同化专家模子的器材，并接济陶冶时数据与模子并行。

　　通过利用以上提到的模子参数、语料与代码，咱们可能极大地利便本人竣工大范围讲话模子，并搭修出本人的对话器材。然则，纵然数据资源相对容易获取，估计打算资源却非常稀缺。思要得回足够的显卡资源以陶冶/调理大范围模子，仍旧是一件额外麻烦的事宜。所以，私有化ChatGPT的途径任重而道远。正在估计打算资源相对匮乏的处境下，咱们更是要运用好手头的模子参数、语料与代码等资源，以有限的估计打算量得到最好的体现。

转载请注明出处。