返回第266章 寻找合作伙伴4(2 / 2)梅克马内首页

关灯 护眼     字体:

上一页 目录 下一章

dsllm 67b的模型权重文件、源代码、各类工具链、说明文档,整个加起来足足有272个gb。

林远看着那个可怕的模型权重文件,那可是要加载进入gpu的。结果这玩意儿的大小竟然达到了268gb。即便可以通过降低精度来降低模型权重文件的大小,可是这东西最小也要126gb。“得嘞!ai真特么烧钱。”

即便dsllm号称已经比openai的chatgpt4模型权重文件小得多,毕竟后者的同类文件大小是用tb作为计算单位的,可仍旧达到了百gb级别。

模型权重文件,这是ai模型最重要的东西。

砸钱买一堆的gpu,再烧掉大把的电费,最后训练出的就是这么个玩意儿。

ai模型对语言的理解和答复的所有奥秘,都在模型权重文件中了。

但你以为有了文件你就能理解ai的推理过程了?休想。

以chatgpt4来说,其参数规模已经达到了万亿级别,林远眼前的dsllm也已经有670亿的参数。

你想搞清楚某个参数在ai模型推理过程中的具体作用?那还是省省吧,那是完全不可能的。

把ai模型的推理过程逆向过来,只会看到一条条向量。人类只能理解其中很小部分的关联过程,对于ai大部分的推理过程,人脑如今已经跟不上了。

ai已经成了事实上的,按照人类的部署在干活。人类提供思路,ai完成工作。至于其中的具体过程,黑盒,完全就是不可见的黑盒。

林远被ai大模型的参数规模给惊到了。

他忽然意识到,这特么难道不应该是顺理成章的嘛,老子为什么要惊讶?

他突然就想到:为什么自己要惊讶呢。

最先进的ai大模型的参数早就已经到了万亿级别,自己难道不该对模型权重文件的大小有所心理准备嘛。

‘所以,老子为什么要打算用一台笔记本来跑这种大语言模型?’

林远自己被自己蠢哭了。

细思一番之后,他终于想到了原因。这是因为他在算力系统勾勒的模型强度面前已经习惯了。

林远习惯了系统产出的模型的精简,习惯性地忽略地球人类眼下粗狂的ai模型方法。

按照眼下的堆算力的粗放路线,模型权重文件可不就得这么大么。

林远简单算了下,dsllm 67b的满血版需要268gb的显存,那特么3块h100都不够哇。每块h100的显存是80gb,那至少要准备4块。

他可不打算去买,这年头还是直接租用云算力更加方便。

“小张,”林远大声把张言喊了过来,“我买云算力需要走审批手续不。”

由于林远现在身份敏感,还被安保小组看护着,因而各种举动都要提前报备。

“什么,是云算力。”

“就跟买云服务器差不多。”

“奥,那肯定是要报备的。”

于是林远很无奈的开始了填申请表。

“特么我买云算力和我人身安全有什么关系唠。难道人家还能顺着网线来打我?”

“别闹,规定就是规定。你嫌麻烦的话我来填,你告诉我用途就成。”

“用途?最终目的是拿来做空对岸科技公司的股票。”

“额,,,”张言显然不能这么写,“我就给你写,,,为了从事科学研究,争取为国为民再创佳绩。”

“小爷只想做空对岸的科技股狠狠出口恶气。当然,,,顺带搞点钱。”

“你闭嘴,别闹了。”

(本章完)

本站域名已经更换为m.adouyinxs.com 。请牢记。
『加入书签,方便阅读』

上一页 目录 下一章