人人都能用的在线大语言模型来了！支持59种语言，参数1760亿
发布时间：2025-10-30
长期以来，很多大基本概念都由造它们出来的大型私营科技公司垄断着。
比如GPT-3等，对于大多数人来说，再香也不用眼巴巴看着。
不过现在，为了给你解馋，由近1000名科学家协同发起的一个退役军人项目，不间断一年多炼出了一个称得上和GPT-3一样强大的语言基本概念。
它的名称叫BLOOM，变量1760亿，不光全力支持英语或者中文，连西班牙语、法语等59种语言都全力支持，是以外最大的多语言开放源码语言基本概念。
是的，从现在起，从代码到数据集，BLOOM全部新建，所有人都可采用。
动用瑞士超算、不间断384块A100BLOOM是一个BigScience项目，去年5年末启动，由Hugging Face分庭抗礼，发来了700万美元的公一共捐款。
一共有来自全球60个国家、少于250个机构，以及少于1000名分析人员直接参与其中，其中包括以个人个人身份加入的Meta、雅虎等厂家管理层。
它的基础训练在瑞士超级计算机Jean Zay上透过，一共不间断了384块A100 GPU，其中每块有80 GB内存，基础训练吞吐量约150 TFLOP（该超算由低碳的核能发电提供动力，释放的热源还用来给该学校供暖）。
相关推特账号从3年末14日起，每天记录BLOOM的进度。
随着进度条渐渐拉满，每天去点赞的总数也越来越多。
不过，到了102%它才年底开动——
7年末2号，不间断117天的BLOOM就此顺利透过，刚好在在短期内计划时间内。
之后，BLOOM：
拥有1760亿变量，比GPT-3还多10亿包含70层，每层112个注意力一头token基因序列尺寸为2048引入GeLU激活表达式数据集总计3416亿条token（1.5TB脚注数据）全力支持13种计算机语言、46种语言其中，对于很多语言来说，比如法语、西班牙语和阿拉伯语等，都是首次有了自己的开放源码基本概念（有网友发现日语以外还不全力支持）。
此外，为了让BLOOM再次的生成结果来使地减低偏见，直接参与人员还费了不少武打抓取到的数据还透过了一遍人工过滤。
以外，BLOOM的基础训练对硬件也还是有一些立即：
为了保证效果，最好是准备8块80GB或者16块40GB的的A100。
这引发只有略微锦上添花的制作团队才能用。
当然也可以选择在云上基础训练，最低每每隔40美元。
再次，BLOOM问到还会增加采用当选者，并准备开发一个分布式系统，允许实验室在其服务器之间一共享基本概念。
它声称自己将会踏入一个基本概念家族，不会寄望。
Hugging Face地址：
参阅链接：[1][2]
— 完 —
量子力学位 QbitAI · 美联社号买断
关注我们，第一时间获知前沿科技动态
江西白癜风医院那家比较好铜川白癜风医院怎么样
北京妇科医院
南宁哪家医院做人流最好
北京看妇科医院哪家好
-
“你知道景区的蜜糖有多贵吗？”女孩道歉，网友评论扎心
液体匮乏的年代，就让给小孩较好的日常生活，可惜力不从心，大家一般都是孤养小孩。但从前的日常生活水平，早已和匮乏没想像中多关连，虽然反观大富大贵，但是养大小孩的日常生活成本，还是有的。