半島遠行

第212章 出人意料地大模型2

類別︰都市言情 作者︰言之不用 本章︰第212章 出人意料地大模型2

    很快就發現了問題的所在。自我演化程序基本沒有變化,但是甲骨文識讀的程序有一個地方發生了了很大的變化。

    最初班行遠設計的識讀程序包含了一個具有100萬個參數的模型,這個模型也是識讀功能的核心所在。在最新的版本中這個模型的規模已經膨脹到讓班行遠咋舌的10億個參數。

    班行遠把所有歷史版本的代碼調出來,發現這個識讀程序的演化過程就是模型規模越來越大的過程。雖然也有不少規模變小的版本迭代,但是很快就又向著規模越來越大的方向發展。

    稍一思考就明白了是怎麼回事。模型的規模大的話,包含的資料就多,就更能生成準確率高的報告。演化程序其實不知道規模大好還是規模小好。在最開始的階段把規模調大後程序根據小組的反饋判斷出這樣效率更高,于是就開始向模型規模越來越大的方向發展。

    大到一定程度後程序判斷單次報告的生成時間有較大增加,默認效率降低就自主降低模型的規模。模型變小後生成速度快了,但是準確率有了更大的下降,演化程序判斷還是規模大的模型效率更高。于是又一次朝向大規模模型演化。就這樣周而復始,在演化的過程中程序確認大模型更有效,于是模型的規模以指數的形式變大。

    模型變大後對算力需求以更快的速度變大,只不過在最初的階段並不明顯。當模型的規模超過一定閾值的時候,報告的準確性也隨著提高,哪怕是生成速度已經很慢了,演化程序仍然沒有調小規模,因為綜合效率仍然更高。

    10億參數規模的模型,班行遠有些頭疼。想了一下把兩個人工智能項目組的人都叫了過來,他要把甲骨文人工識別的程序移植到蛋白質機構預測的計算中心上。

    兩個項目都用到了研究院設計的加速卡,只不過甲骨文這邊的規模小得多,算力和蛋白質那邊比的話根本不值一提。查了一下後台,沒有三方單位使用算力,班行遠立刻讓項目組成員暫停了所有的計算任務,讓他們把甲骨文識讀程序切換到計算中心。

    程序在計算中心運行後,班行遠並沒有讓程序開始計算,而是把西方各種文字的字典和語言學資料喂給程序,程序很快就消化完畢。班行遠暗贊,算力強大就是不一樣。

    隨後在兩個項目組不解的眼神中班行遠問出了問題︰“請告訴我英文單詞的起源與演變。”

    這些計算機專家看著大屏幕上滾動出來的文字一個個張大的嘴巴。

    “嗯,用戶之前問了中文“公”字的起源和演變,現在又轉向英文單詞“”的起源和演變。看來他對語言的歷史發展很感興趣,可能在學習語言學或者對詞源學有好奇心。我需要先確認用戶的需求……”

    “英語單詞 "" 的起源和演變過程展現了日耳曼語言中第二人稱代詞的復雜發展軌跡,以及社會文化對語言形態的深刻影響。以下是其歷史演變的分階段解析︰

    一、古英語時期511世紀)

    ……”

    等結果輸出完成後,會議室一片安靜。過了一會兒一位專家站了起來激動地說︰“院長,這是……”

    班行遠點了點頭說︰“雖然我不太相信,但是看來正是你想的樣子。”

    隨後就開始了熱烈的討論,班行遠寫的核心算法其實是有這個功能的,但是沒想到模型規模變大後會出現這樣的變化。很顯然已經不能單純用在甲骨文識別上了,用這些專家的話講那完全是在犯罪。

    要增大用途的話,模型規模還要增加。到了這個規模,模型規模和算力需求之間已經不成比例。模型增加一倍,對算力的需求可能需要增加十倍百倍。現在需要確定的是計算中心支持多大的用戶規模。

    然後開始多用戶測試,兩個人同時提問、三個人、四個人……當同時提問人數超過10個時就能夠感覺到明顯的速度變化。

    這可不行!這個程序太有用了,這些專家已經想到了無數的用法,才夠10個人同時用夠干什麼。同時嘆了一口,算力!

    班行遠停止了程序的運行,恢復蛋白質方面的計算。

    班行遠說︰“都說說吧,這個程序本來就是設計的用來識讀甲骨文的,能理解語義這是前提條件。但是模型規模達到這種程度後發生的變化確實出乎了我的預料。程序演化算法核心是基于生物進化原理,通過對輸出結果的反饋制造一種類似于自然選擇的演化壓力。我看了一下演化程序自己發展出了類似神經網絡、卷積之類處理方式,這和目前的人工智能發展方向是一致的。但是但是那個大模型還是頭一次看到,似乎還沒有出現這種人工智能跟大模型結合的報道。”

    “雖然我們只是演示了文字方面的問答,但是顯然這個人工智能的應用範圍要大得多,可以用在各種方面。研究院組件專門的小組吧,對相關理論和應用進行深入研究。等級……等級和光刻機項目是一樣的。”

    “都有說說下一步怎麼干吧。”

    一位專家說︰“算力,要研究這個肯定需要極為強大的算力。現在使用蛋白質的算力中心僅僅是語言學方面的內容已經捉襟見肘,應用範圍擴大的話需要訓練模型肯定不夠用。需要新建計算中心。”

    班行遠考慮了一下,搖了搖頭︰“這個行不通,首先泰熙肯定不會批的,蛋白質項目每個月一百多萬的電費就夠她整天跟我念叨了,這要是再建一個她得和我拼命。”

    “而且使用現有的加速芯片處理這個大模型人工智能的運算完全是浪費。這款加速芯片是為了研究院高精度的科學運算設計的,針對fp64高精度浮點運算進行了專門的優化。大模型人工智能撐死用到fp32的精度,我估計大多數場景用fp16半精度就夠了,很多場景甚至fp4、fp8甚至是8位的整數運算就能覆蓋了。同樣規模的芯片針對fp64高精度浮點運算優化和針對低精度運算優化在算力上可不是簡簡單單的翻倍。”

    喜歡半島遠行請大家收藏︰()半島遠行書更新速度全網最快。

加入書簽 上一章 目 錄 下一章 加入書架 推薦本書

如果您喜歡,請把《半島遠行》,方便以後閱讀半島遠行第212章 出人意料地大模型2後的更新連載!
如果你對半島遠行第212章 出人意料地大模型2並對半島遠行章節有什麼建議或者評論,請後台發信息給管理員。