微信WeLM

WeLM是一个中文预训练语言模型,可以完成多种NLP任务,包括对话-采访、阅读理解、翻译、改写、续写、多语言阅读理解等。

标签:

WeLM是微信AI团队开发的一个中文预训练语言模型,能够在零样本和少样本情境下完成多种NLP任务。

WeLM的功能和特点:

WeLM拥有处理跨多语言(中英日)任务的能力,并且具有mutilingual的能力。

WeLM具有记忆能力、自我纠正和检查能力,能够学习少量的文本转换例子即可达到对任意类型的文本转换。

在14项中文NLP任务上,WeLM的整体表现超出了所有同大小的模型,甚至能够匹配比它大25倍的模型。

WeLM使用62k的SentencePiece tokenizer进行词表处理,再加上3万个中文符号和中文中常见的英语、日语、韩语等语言的常用词也被包括在内。

相关技术论文《WeLM: A Well-Read Pre-trained Language Model for Chinese》已经发布于论文预印本网站arXiv(https://arxiv.org/abs/2209.10372)

相关导航

暂无评论

暂无评论...