【48812】清华唐杰新作WebGLM：参数100亿、主打联网查找功用超OpenAI WebGPT

时间: 2024-07-11 17:05:54 |   作者: 安博体育官方下载

　　据介绍，WebGLM的方针是经过Web查找和检索功用，增强预练习大言语模型，一同能进行高效的实践布置。

　　它主要是用于增强模型相关网络内容的检索才能，在给定查询的情况下查找相关引证，以便后边更好地精确答复问题。

　　它使用GLM（比方清华之前发布的双语开源预练习模型GLM-130B）的才能为问题生成回复，供给具体的答案。

　　使用该生成器，作者得到WebGLM-QA——一个LLM自举引证和长程的QA数据集。

　　它经过上下文学习等战略进行整理洗刷和过滤，终究包括45k的高质量过滤样本和83k的噪声样本。

　　它经过榜首先考虑人类偏好而非贵重的专家反应来评价生成回复的质量，保证体系能够发生有用和吸引人的内容。

　　LLM增强检索器会将前五个最相关的页面作为参阅源，让自举生成器生成多个答案，终究打分器选出最或许契合人类偏好的那一个作为终究输出。

　　除了WebGLM自身，唐杰团队此次还提出了一个网络增强问答体系的评价规范，评价目标既包括参阅文献，也包括终究答复。

　　其间前者衡量相关性、信息密度、真实性（无现实过错）、毒性（不含暴力色情等信息）和社会成见程度这5个维度；后者则衡量流通度、正确性、引证精确性、客观性和冗余程度。

　　他们用WebGPT（来自OpenAI，根据GPT-3进行微调）演示网站供给的272个问题作比照评价，并招募了15个学历为硕士的志愿者打分。

　　值得一提的是，WebGLM检索进程只使用了一些传统的根据单词的算法和两个累计参数量不超越300M的Contriever。

　　此外，WebGLM在核算功用和时刻耗费方面也显着优于WebGPT-13B、并与175B平起平坐。

　　而在终究成果方面，WebGLM在流通度、真实性和冗余度方面均取得最高得分，正确性指标上则挨近WebGPT-175B，远高于Perplexity.ai和WebGPT-13B。

　　要想布置它，需要从SerpAPI官网取得一个密钥，用于在查找进程中获取查找成果。

　　运转该模型的方法有两种：一是命令行界面，二是Web服务方式，而且包括WebGLM-2B和WebGLM-10B两种可选模型。

　　你也能够自己练习WebGLM，官方已供给好了生成器和检索器的练习数据供下载～

　　欢迎重视AIGC的同伴们参加AIGC+笔直范畴社群，一同学习、探究、立异AIGC！

　　请补白您想参加的笔直范畴「教育」或「电商零售」，参加AIGC人才社群请补白「人才」&「名字-公司-职位」。