无需人工标注!LLM加持文本嵌入学习:轻松支持100种语言,适配数十万下游任务
无需人工标注!LLM加持文本嵌入学习:轻松支持100种语言,适配数十万下游任务使用LLM生成海量任务的文本数据,无需人工标注即可大幅提升文本嵌入的适用度,只需1000训练步即可轻松扩展到100种语言。
搜索
使用LLM生成海量任务的文本数据,无需人工标注即可大幅提升文本嵌入的适用度,只需1000训练步即可轻松扩展到100种语言。
如果语言模型是巫师,代码预训练就是魔杖!
AI 生成 3D 模型最难的一关,终于被搞定了。
据The information的Creator Economy Database最新数据,在数据库覆盖的350多家全球创业公司中,2023年募得资金量继续螺旋式下降,至约17亿美元,其中人工智能初创企业在融资份额中占比最大,超3.24亿美元。
自从ChatGPT发布后,各种基于大模型的产品也快速融入了普通人的生活中,但即便非AI从业者在使用过几次后也可以发现,大模型经常会胡编乱造,生成错误的事实。
瑞士信息与通信科技公司Lakera成立于2021年,该公司为生成式AI应用程序开发的安全工具拥有专有的威胁情报数据库,可防御对大型语言模型(LLM)的各类攻击并对AI应用程序进行压力测试检测漏洞,为AI应用程序提供企业级的安全保护。
AI训AI必将成为一大趋势。Meta和NYU团队提出让大模型「自我奖励」的方法,让Llama2一举击败GPT-4 0613、Claude 2、Gemini Pro领先模型。
要真正的实现AGI的话,需要有强大的模型和数量庞大且高质量的数据、可扩展的基础训练以及符号化的方法。
昨天,Meta、纽约大学的研究者用「自我奖励方法」,让大模型自己生成自己的微调数据,从而在 Llama 2 70B 的迭代微调后超越了 GPT-4。今天,英伟达的全新对话 QA 模型「ChatQA-70B」在不使用任何 GPT 模型数据的情况下,在 10 个对话 QA 数据集上的平均得分略胜于 GPT-4。
自 ChatGPT 等大型语言模型推出以来,为了提升模型效果,各种指令微调方法陆续被提出。本文中,普林斯顿博士生、陈丹琦学生高天宇汇总了指令微调领域的进展,包括数据、算法和评估等。