马斯克宣布开源Grok
2024-04-02 本站作者 【 字体:大 中 小 】
今天凌晨,马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家MoE模型Grok-1,以及模型的权重和网络架构。让Grok-1成为了如今参数量最大的开源大语言模型。
![马斯克宣布开源Grok](http://img.canyinms.com/202404/02/07/56ff2cd331c515340b46d5f01c6e0568.jpg)
作为一个彩蛋,xAI表示,这则新闻的封面图也就是上图是根据Grok提示,使用Midjourney生成的,提示词为:“神经网络的3D插图,具有透明节点和发光连接,以不同粗细和颜色的连接线展现不同的权重A3Dillustrationofaneuralnetwork,withtransparentnodesandglowingconnections,showcasingthevaryingweightsasdifferentthicknessesandcolorsoftheconnectinglines.。”
而开源Grok后,马斯克也在第一时间对竞争者OpenAI进行了“关心”:“我们想了解更多OpenAI的Open开放部分。”
![马斯克宣布开源Grok](http://img.canyinms.com/202404/02/07/75d6c27b8d7b3e22f756371b6ab460e2.jpg)
根据xAI官方公布的消息,我们可以看到Grok-1的三大特点:
基于大量文本数据对基础模型进行训练,没有对任何特定任务进行微调;
3140亿参数的MoE模型混合专家模型,在给定token上的激活权重为25%;
从2023年10月开始,xAI使用JAX库和Rust语言组成的自定义训练堆栈对Grok进行了从头训练。
xAI遵守Apache2.0许可证来开源Grok-1的权重和框架,如果你拥有Apache2.0的许可证,不论个人还是商业用途,你都可以自由使用、修改、分发软件,截止发文,已经收获了7.7k星标,热度极高。
xAI在项目中强调,如果你想顺利测试如此规模的模型,需要CPU拥有足够的内存,有用户给出了参考:拥有8个H100就可以顺利运行Grok-1模型了。
![马斯克宣布开源Grok](http://img.canyinms.com/202404/02/07/d674bcd2f93bd85aea0f691a4b33b6e8.jpg)
Grok-1是马斯克xAI团队去年11月推出的一款大语言模型,xAI表示,Grok是一款仿照银河系漫游指南设计的AI,它几乎可以回答任何问题,甚至可以建议你问什么问题,它幽默诙谐又叛逆,可以回答其他AI系统拒绝回答的问题。
![马斯克宣布开源Grok](http://img.canyinms.com/202404/02/07/7db02a847c8c15fa8f94e45ad25ab86e.jpg)
另外,为了防止Grok-1针对试题训练,xAI还针对匈牙利国家高中数学考试进行了测试,同样优于GPT-3.5。
![马斯克宣布开源Grok](http://img.canyinms.com/202404/02/07/f1b100277cac5ecaa0081d17b77da7c7.jpg)
现在,Grok-1已经在X平台引发了不少讨论,但开源版的Grok依然有一些功能需要付费才可以实现,不过随着Grok的不断更新、开源,相信xAI会为我们带来更多惊喜。
![](/kaifadou/static/images/ndArrow.png)
猜你喜欢
![海贼无双2日版转中文版DLC剧情汉化下载](/kaifadou/static/images/default.jpg)
海贼无双2日版转中文版DLC剧情汉化下载
![](/kaifadou/static/images/watch.png)
![第七史诗愚人节主题活动2024大全2024愚人节主题活动一览](/kaifadou/static/images/default.jpg)
第七史诗愚人节主题活动2024大全2024愚人节主题活动一览
![](/kaifadou/static/images/watch.png)
![霓虹深渊无限玉米糖怎么样](/kaifadou/static/images/default.jpg)
霓虹深渊无限玉米糖怎么样
![](/kaifadou/static/images/watch.png)
![航海王梦想指针兑换码是多少](/kaifadou/static/images/default.jpg)
航海王梦想指针兑换码是多少
![](/kaifadou/static/images/watch.png)
![金铲铲之战灵魂莲华亚索阿狸怎么搭配](/kaifadou/static/images/default.jpg)
金铲铲之战灵魂莲华亚索阿狸怎么搭配
![](/kaifadou/static/images/watch.png)
![节奏战士有什么特色内容](/kaifadou/static/images/default.jpg)
节奏战士有什么特色内容
![](/kaifadou/static/images/watch.png)
![航海王:梦想指针巴奇技能介绍一览](/kaifadou/static/images/default.jpg)
航海王:梦想指针巴奇技能介绍一览
![](/kaifadou/static/images/watch.png)
![航海王:梦想指针奈美技能介绍一览](/kaifadou/static/images/default.jpg)
航海王:梦想指针奈美技能介绍一览
![](/kaifadou/static/images/watch.png)
![原神一个手机号可以绑几个账号](/kaifadou/static/images/default.jpg)
原神一个手机号可以绑几个账号
![](/kaifadou/static/images/watch.png)
![Coinomi钱包安全吗Coinomi钱包安全性分析](/kaifadou/static/images/default.jpg)
Coinomi钱包安全吗Coinomi钱包安全性分析
![](/kaifadou/static/images/watch.png)
![](/kaifadou/static/images/info2.png)
2024去云南旅游最佳路线 云南旅游的最佳路线安排
![2024去云南旅游最佳路线 云南旅游的最佳路线安排](http://img.canyinms.com/d/file/kaifadou/202402/GVirBsZVfvtnrpqIOXQUOj5W.jpg)
![](/kaifadou/static/images/info2.png)
2024最适合穷游的12个地方 一个人穷游去哪里好
![2024最适合穷游的12个地方 一个人穷游去哪里好](http://img.canyinms.com/d/file/kaifadou/202402/jfhGKvsXDScsMQY7WWH17FKy.jpg)
![](/kaifadou/static/images/info2.png)
2024桂林必去五个景点 桂林旅游必看景点
![2024桂林必去五个景点 桂林旅游必看景点](http://img.canyinms.com/d/file/kaifadou/202402/8W6yI8gH3elxuT5qt6FMTdVi.jpg)
![](/kaifadou/static/images/info2.png)
2024清明家庭旅游最佳去处 清明节去哪里玩比较好
![2024清明家庭旅游最佳去处 清明节去哪里玩比较好](http://img.canyinms.com/d/file/kaifadou/202402/3gMDAIKT9WyEdryWbs0vxGJd.jpg)
![](/kaifadou/static/images/info2.png)
张家界旅游必去景区 张家界旅游景点推荐
![张家界旅游必去景区 张家界旅游景点推荐](http://img.canyinms.com/d/file/kaifadou/202402/nRcQkTXKexc9bzLpfHVFir4O.jpg)
![](/kaifadou/static/images/info2.png)
2024重庆旅游攻略 2024年重庆旅游景点
![2024重庆旅游攻略 2024年重庆旅游景点](http://img.canyinms.com/d/file/kaifadou/202402/yzCn5g0osKEt0aaJzI2G49Kw.jpg)
![](/kaifadou/static/images/info2.png)
西安旅游攻略自由行路线推荐 第一次去西安旅游攻略
![西安旅游攻略自由行路线推荐 第一次去西安旅游攻略](http://img.canyinms.com/d/file/kaifadou/202402/tJKA2BNXdC6oLgxesMVWzTC9.jpg)
![](/kaifadou/static/images/info2.png)
2024昆明旅游攻略景点大全 昆明有什么好玩的地方推荐
![2024昆明旅游攻略景点大全 昆明有什么好玩的地方推荐](http://img.canyinms.com/d/file/kaifadou/202402/GVirBsZVfvtnrpqIOXQUOj5W.jpg)
![](/kaifadou/static/images/info2.png)
成都旅游必去十大景点推荐 四川成都最值得去的十大景点
![成都旅游必去十大景点推荐 四川成都最值得去的十大景点](http://img.canyinms.com/d/file/kaifadou/202402/yxQSvAVv9ztxUW2Blfhggt3z.jpg)
![](/kaifadou/static/images/info2.png)
2024山西旅游必去十大景点 山西必去景点攻略地
![2024山西旅游必去十大景点 山西必去景点攻略地](http://img.canyinms.com/d/file/kaifadou/202402/ukzErbAPqoHaEL65eYt5IfbN.jpg)