zoty中欧体育傅盛揭穿OpenAI「阳谋」引130万人围观!百亿参数模型帮老板

  新闻资讯     |      2024-01-26 02:14

  zoty中欧体育傅盛揭穿OpenAI「阳谋」引130万人围观!百亿参数模型帮老板打王者一张3060就能跑就在刚刚,OpenAI的最大秘密,被傅盛在130万人面前揭穿!百亿参数,竟能在企业级应用中媲美千亿级大模型;一张3060zoty中欧体育,就能帮老板打到「王者」!

  当你把合同、财务、业务数据等公司机密都传给ChatGPT时,或许并未意识到:每一次使用ChatGPT,都是在帮OpenAI提升模型「智商」。

  正如GPT Store的发布,让众多初创公司一夜暴毙。而他们始终也没有搞明白,为什么自己300万美元的公司,最后变成了一张500美元的OpenAI API代金券。

  但直接基于API使用,会有数据泄露给例如OpenAI这些模型供应商的风险。那最好的办法就是私有化部署。然而面对如此规模的模型,光授权费就要数千万。

  测试显示,在百亿参数+应用打磨的加持下,模型对于专业场景问题的回答已经超越了GPT-4。而且,只要千元显卡即可运行!

  而且,在OpenCompass综合测评的中文数据集上,总分位列700亿参数以下基座模型第一。

  此外,Orion-14B还具备极强的多语言能力——在日语、韩语开源模型评测中也拿下了全球第一,堪称是「出海之光」。

  日文为JNLI等8项评测集平均得分;韩文为COPA等4项评测集平均得分;中文英文为OpenCompass对应语言评测集平均得分

  在目前业内公认最权威的大模型长文本准确度测试方法「大海捞针」中,Orion-14B直接拿下了200K token全绿的成绩。

  顺带一提,此前有报道指出,有不少大模型为了在榜单中「刷新SOTA」,竟然直接拿基准测试里面的「真题」和「答案」来训练。

  举个栗子,上传一些关于交通法的文档片段,当用户询问哪些情况不能超车,Orion-14B就会根据已有的内容准确回答中欧体育kok,不会瞎猜出现幻觉。

  此外,当你输入一封邮件的内容,Orion-14B模型还可以抽取数据,发件人、邮箱、联系方式,都可以清晰地分列出来中欧体育官网

  而为企业应用而生的猎户星空大模型,凭借着「全家桶」级的微调能力,可以在专业场景里实现媲美千亿级模型的效果。

  通用对话微调、插件微调、RAG微调、长Token微调、知识抽取微调、问答对生成微调、日韩文微调。

  其中,基础对话能力微调模型(Orion-14B-Chat)专注于提升对话能力,尤其在理解历史消息和角色扮演方面显示出更高的准确性。

  这一版本能够捕捉对话上下文中的细微变化,并根据不同角色和场景做出相应的反应,从而提供更加自然、连贯的对话体验。

  除此之外,猎户星空还在两个大模型应用的主流方向上深入打磨——检索增强生成(RAG)和Agent。

  尽管当前大模型的能力令人印象深刻,但并非无懈可击。它们或因训练数据时效,token长度等限制,可能会输出误导性信息,进而产生「幻觉」。

  有时,LLM也会因缺乏专业领域知识,在处理特定领域的问题时,力不能及。尤其是对于企业内部的信息,让LLM自由发挥就更加容易出错。

  目前流行的大模型应用开发框架Llama-Index、LangChain等,都包含了RAG的部分。但是框架数量虽然多,在实际部署时却一言难尽,工程搭建繁琐,效果不理想,企业可能搞了半年都上不了线。

  相比之下, 猎户星空的RAG能力微调模型(Orion-14B-RAG),则通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调,使其成为了最适合开发RAG应用的微调模型。

  OpenAI应用人工智能研究主管Lilian Weng去年的一篇博客,曾掀起Agent讨论热潮。基于大模型构建的Agent,拥有强大的语言理解和处理能力,可以自动化完成各种任务。

  举个栗子,HuggingGPT利用ChatGPT作为,连接HuggingFace社区中的各种AI模型,来完成多模态复杂任务。

  更有网友用MetaGPT智能体框架,仅在10分钟就做出小游戏Flappy Bird,让低成本的软件开发成为现实中欧体育官网

zoty中欧体育傅盛揭穿OpenAI「阳谋」引130万人围观!百亿参数模型帮老板(图15)

  而猎户星空的插件能力微调模型(Orion-14B-Plugin)zoty中欧体育,则通过增强模型根据用户问题调用最适配工具的能力,并将插件的结果与模型的处理相结合,来解决更复杂的问题。

  具体来说,研究团队针对意图识别、函数调用、缺槽反问、单轮抽参、多轮抽参等能力进行专项微调,使其成为了最适合构建Agent应用的微调模型。

  意图识别成功率90.3%;首轮抽参成功率100%;多轮抽参成功率90.19%;缺槽反问成功率91.07%;插件调用成功率91.37%。

  此外,为满足小企业需求,猎户星空大模型还推出了几乎无损的INT4量化版本(损失1%)。

  通过AWQ Q4量化技术,研究团队不仅让模型大小直降了70%,而且还使推理速度也提升了30%。

  换句话说就是,只需一张消费级显卡,如NVIDIA RTX 3060,就能实现每秒最高31 tokens(约50个汉字)的输出。

  而在私有化部署方面,也可以轻松地将服务器和企业数据控制在内网之中,甚至还提供全套开源免费可商用资源和社区技术支持。

  青铜段位,是用AI做文案、做图。黄金段位,是数字员工。但AIGC其实最重要的,还是王者段位中欧体育kok

  在此段位,全过程都由AI参与。王者段位的企业,应该选择用私有大模型+强应用套件,来实现数字员工和辅助决策。

  不过,虽然现在大模型百花齐放中欧体育kok,但猎户星空却在实践中发现,企业需要的不是「大模型」,而是能够结合业务流并解决自身痛点的大模型应用。

  会上,傅盛重磅发布了AI辅助决策交钥匙解决方案「聚言」,可以为企业提供全链条的定制化AI大模型咨询和解决方案服务。

  可以预见,在以上所有这些能力的共同加持下,一个崭新的时代即将来临——每个企业都会有私有化大模型。

  大模型在企业中无法即插即用,而只靠员工自主探索,也很难实现企业AI应用上的增效,必须针对整个流程中欧体育官网,进行AI重构。

  而有了「数字老板」之后,老就们就可以全面掌握经营细节。人力资产、云资产、数字资产,全天候细节无遗漏。

  比如,只需问一句,人力助手就能把公司收到的近2000份周报汇总起来,并提炼出主要的业务进展和潜在的风险。

  AI就会根据海外销售业务的特点zoty中欧体育,创建出一个得分系统,然后根据数据分析给出结果,并同时附上非常直观的图表。

  如此一来,不仅能像英伟达的黄老板一样,每天处理数百封邮件,跟进数十个项目,还能减少决策失误,提高效率。

  对于另一项开销大头「云」来说,技术人员通常都希望服务器越多越好,而老板们虽然搞不懂,但依然需要为越来越贵的云成本买单。

  具体来说,AI会通过深挖云数据的底层逻辑,对客户的云上资源和成本账单数据进行度分析,从而进一步剖析运营成本痛点。

  如今,老板的智囊团成本越来越高,内部有共同的认知盲区,而外部的智囊团,又成本太高、周期太长。

  为此,猎户星空推出了一个由多个Agent组成的「智囊团」——聚言创意助手,可以让各个领域的专家直接为你出谋策划。

  只需要在聚言创意助手中,勾选你想要给出旅游战略规划的角色,输入话题,它们便会从不同角度提供方案。

zoty中欧体育傅盛揭穿OpenAI「阳谋」引130万人围观!百亿参数模型帮老板(图24)

zoty中欧体育傅盛揭穿OpenAI「阳谋」引130万人围观!百亿参数模型帮老板(图25)

  有了聚言助手,未来各种营销策略、市场报告等等,无需费力找专家,就能获得更高质高效、全面省钱的方案。

zoty中欧体育傅盛揭穿OpenAI「阳谋」引130万人围观!百亿参数模型帮老板(图26)

  做出自己的千亿大模型,就一定能取得商业上的成功吗?如果技术没有和产品、应用形成闭环,再多技术投入都不能形成壁垒。

  现在主流的模式,是砸钱预训练千亿级模型,微调,然后寻找应用场景。而猎户星空却独辟蹊径,在已知应用场景后,再微调,然后寻找合适的模型。

  作为一家All in AI的创业公司,如今在大模型时代大放异彩,背后离不开团队在这一领域持续7年的深耕。

  值得一提的是,这家公司拥有来自Meta、Yahoo、百度等全球大厂上百名算法科学家的团队。

  而在7年AI磨刀的过程中,有了扎实的数据积累,包含百亿级真实用户query数据,数十亿级token数据。