XuLaLa.Tech

首页客户端下载Windows 使用V2Ray 教程SSR 教程Clash 教程

芯片可能成为我们追赶ChatGPT的最大瓶颈

2024.06.24

哈喽大家好我是站长,咨询网站任何问题,可加微信: 公众号:Ai

ChatGPT雷霆万钧,平静的搜索世界突然爆发了一场风暴。 微软高调推出ChatGPT版Bing搜索引擎,迫使谷歌赶紧做出回应,推出同样基于LaMDA模型的聊天机器人。 结果,巴德竟然成了一个bug,进而让自己的股价损失了2000亿美元。

与此同时,百度还宣布,其自主研发的“文心一言”正在加速内测,预计3月底发布。

蛰伏已久的科技巨头们同时变得紧张起来,不仅是因为ChatGPT在大众中引发的热潮,更是因为他们预感到以ChatGPT为代表的LLM(大型语言模型)应用很可能会被淘汰。 “元技术”。

“元技术”是指技术的持续使用可以反过来加速技术本身的进步。 例如:芯片在现实世界中的应用可以在开发效率、应用场景和资金投入等方面反哺研发,从而加速芯片本身的进步; “元技术”的发展符合指数增长规律,因此可以克服研发管理中的常见问题。 爆炸复杂性并摆脱“适度进步陷阱”的引力约束。

正是因为“元技术”的属性,芯片研发才能不断取得突破,赶上摩尔定律的要求。 相比之下,生物技术等非“元技术”则要摘起唾手可得的果实,然后搭建技术升级的垫脚石,陷入埃鲁姆定律(反摩尔定律)的泥潭。

大家都经历过,使用ChatGPT可以极大解放工作效率,包括Open AI自己的研发人员。 数以亿计的用户提出了ChatGPT的花哨问题,并反复测试了“提示黑魔法”,这也为版本的后续迭代快速积累了大量素材。

此外,LLM单次培养的巨大成本以及对计算资源的占用也对新玩家构成了残酷的进入壁垒。

随着竞争的加剧,资本和算力都会理性地向技术领先者集中,从而自我实现“强者恒强”的马太定律。

至此,ChatGPT的“元技术”飞轮已经隐约形成了一个闭环。 因此,如果不在“技术奇点”到来之前及时上船,现有科技巨头与OpenAI在AI应用上的差距将不可逆转地拉大,最终陷入不可逆转的螺旋式下滑; 而那些小型AI创业团队将面临模型生成。 差距和资源都无法弥补,灾难就到了。

从更高的层面来看,ChatGPT作为一种“元技术”,可能会对中国的未来产生核弹级别的震撼。

中国科技产业这十年的进步,靠的是工程上充满暴力美学的“快速跟随”和“饱和执行”。 这背后的基础是国内教育体系带来的“工程师福利”。

虽然我们无法培养S级创新人才,但我们可以大批量生产B级标准产品:稳定、勤奋、执行力强、价格相当便宜,可以快速填补从源头创新到应用实施的时间差距。 海外原创者直接被淘汰。

但作为史上最好的复读机,ChatGPT恰好与“中国机器人”的功能重叠。

你懂的我能做,你不懂的我能懂。 你可以做996,但我可以做007 一年365天。 你可以做到吗? 更重要的是,ChatGPT 不是人类。 他没有负面情绪扰乱耳朵,没有柴米油盐的劳作,不会辞职,更不会躺下。

熟练使用ChatGPT就相当于聘请了一支随叫随到、耐操、具备各知识领域基本技能的助理团队。

对于那些超乎想象的S级创新者,ChatGPT为其想法的原型实现提供全天候支持; 对于聚集S级人才的创新型企业来说,ChatGPT意味着实施不再是主要的发展瓶颈。 。 人员的缩减和智力集中度的提高,可以进一步减少内部信息传递的损失,使其像Open AI一样敏捷高效,只需400人。

在这种情况下,大厂商采用开源框架Fast Follow的策略还能产生规模效应吗? 即使可以压缩成本优势,但在时间效率上也会受到降维的影响。 中国一些人经常嘲笑,美国大学在培养少量S级、A级精英的同时,却产生了大量垃圾,以至于不得不从中国引进B级好员工,印度长期以来; 现在他们可能不再笑了。

你以前擅长的骑射武术突然变得过时了,机枪射击的世界里没有你的容身之地。 因此,如果BAT不抢到本轮ChatGPT的门票,科技行业就会错过这个致命的“奇点时刻”。 遗憾的是,国内不少玩家不仅在模型上捉襟见肘,在算力和数据上也即将面临甚至已经面临严重限制。

LLM 贪图计算能力。 GPT-3 1750 亿参数(45.3T)模型的单次训练需要 1024 个 NVIDA A100 GPU 34 天。 然而,A100级别的芯片目前处于禁运状态。 接下来,GPT-4所需的计算能力可能会继续增加两个数量级。 到时候我们用什么芯片去追赶呢? 毕竟现在连45nm工艺的光刻机都被禁运了。

芯片禁运对国内AI技术的打压堪称智子之锁。

有人说没关系。 你可以通过堆叠成熟工艺的芯片来以数量换取质量,或者通过更慢的训练最终达到相同的技术水平。 芯片禁运不是一锤子砸死你,而是通过增加中国科技公司的算力成本,让任何AI应用的实施在经济上不可行(甚至热力学上不可行)。 我们只能选择损失利润或被迫投降,无法进入良性的经济循环。

只要禁运继续下去,减缓对手的进步,“元技术”的代沟在“奇点时刻”之后就可能无法收敛。 如果新一轮LLM输出的结果反馈到芯片开发流程中,那么这个速度差距将会进一步拉大。

在数据来源方面,微软和谷歌依赖超主权的全球互联网文本。 以GPT-3为例,数据主要来自Common Crawl,总计31亿页,涵盖2016年至2021年互联网文本数据,采用WebText2作为高质量文档类,对页面进行质量过滤原始数据; 此外,还导入了 2 个库和维基百科。

BAT所依赖的中国互联网规模还不够大(Common Crawl中的中国数据不足5%),数据生态也不够好。

大多数中文页面的信息可信度不如百度贴吧。 很少有高质量的数据被困在各个制造商私有域的“围墙花园”中,并且相当多的链接在打开时会导致404。 至于补充结构化数据库,你指的是CNKI和百度百科吗?

使用缺乏这种质量和结构的数据集进行训练,很可能会产生垃圾进垃圾出的无意义生成器,比如匆忙下线的百度柏拉图机器人。

在现行的数据主权和信息安全法规下,利用海外数据“数字化西方数据,计算东方计算”,然后翻译回中文也很困难。 更深入地思考,如何消除“引进模式”中隐含的意识形态植入? “根据相关法律规定,该答案不会显示”? 精明如微软,从一开始就封杀了中国IP使用ChatGPT版Bing搜索引擎的权限,而且这个规定是永远的。

奇点的致命时刻正在敲响警钟。

哈喽大家好我是站长,咨询网站任何问题,可加微信: 公众号:Ai

© 2010-2022 XuLaLa 保留所有权利 本站由 WordPress 强力驱动
请求次数:69 次,加载用时:0.665 秒,内存占用:32.19 MB