ChatGPT帶來的AI熱潮:區塊鏈技術如何解決AI發展的挑戰與瓶頸
区块引擎BlockTurbo
2023-03-29 08:10
本文约4458字,阅读全文需要约18分钟
人工智能發展看似進展順利,但仍有一些潛在的挑戰和瓶頸需要解決,去中心化解決方案也許能加速AI發展。

原創編譯:BlockTurbo

原創編譯:BlockTurbo

原創編譯:BlockTurbo

原創編譯:BlockTurbo

儘管人工智能發展看似進展順利,但仍有一些潛在的挑戰和瓶頸需要解決。隨著越來越多的企業和消費者接受人工智能,計算能力方面的瓶頸正在出現。人工智能係統所需的計算量每隔幾個月就會翻一番,而計算資源的供應卻難以跟上步伐。此外,訓練大規模人工智能模型的成本持續飆升,過去十年每年增長約3100% 。

一級標題

一級標題

一級標題

  • 人工智能(AI)和機器學習(ML)基礎

  • AI 領域可能令人望而生畏,深度學習、神經網絡和基礎模型等技術術語增加了其複雜性。現在,就讓我們簡化這些概念以便於理解。

  • 深度學習是一種涉及使用神經網絡的ML,神經網絡由多層相互連接的節點組成,這些節點協同工作以分析輸入數據並生成輸出。

一級標題

一級標題

一級標題

  • 算法創新數據

  • 數據數據

  • 數據:人工智能模型依賴大型數據集作為訓練的燃料,使它們能夠從數據中的模式和關係中學習。

計算

第二個問題與算法創新效率低下有關。雖然研究人員通過在以前的模型的基礎上繼續對模型進行增量改進,但這些模型提取的智能或模式總是會丟失。

二級標題

二級標題

二級標題

人工智能公司通常面臨兩種選擇:投資自己的硬件並犧牲可擴展性,或者選擇雲提供商並支付高價。雖然大公司有能力選擇後者,但小公司可能沒有那麼奢侈。隨著資本成本的上升,初創公司被迫削減雲支出,即使大型雲提供商擴展基礎設施的成本基本保持不變。

二級標題

二級標題

二級標題

缺乏協作導致效率低下。例如,如果一個獨立的研究團隊想要開發一個更強大的OpenAI 的GPT-4 版本,他們將需要從頭開始重新訓練模型,基本上是重新學習GPT-4 訓練的所有內容。考慮到僅GPT-3 的培訓成本就高達1200 萬美元,這讓規模較小的ML 研究實驗室處於劣勢,並將人工智能發展的未來進一步推向大型科技公司的控制。

一級標題

一級標題

一級標題

存在兩種主要類型的分散式計算網絡:通用型和專用型。通用計算網絡像分散式雲一樣運行,為各種應用程序提供計算資源。另一方面,特定用途的計算網絡是針對特定用例量身定制的。例如,渲染網絡是一個專注於渲染工作負載的專用計算網絡。

二級標題

二級標題

二級標題

  • 機器學習計算工作負載機器學習可以分為四種主要的計算工作負載:

  • 數據預處理:準備原始數據並將其轉換為ML 模型可用的格式,這通常涉及數據清理和規範化等活動。

  • 訓練微調

  • 推理:運行經過訓練和微調的模型以響應用戶查詢進行預測。

二級標題

二級標題

二級標題

機器學習專用計算網絡

由於圍繞並行化和驗證的兩個挑戰,訓練部分需要一個特定用途的計算網絡。

Gensyn

ML 模型的訓練依賴於狀態,這意味著計算的結果取決於計算的當前狀態,這使得利用分佈式GPU 網絡變得更加複雜。因此,需要一個專為ML 模型並行訓練而設計的特定網絡。

儘管Gensyn 網絡尚未上線,但該團隊預測其網絡上V1 00 等效GPU 的每小時成本約為0.40 美元。這一估計是基於以太坊礦工在Merge 之前使用類似GPU 每小時賺取0.20 至0.35 美元。即使這個估計有100% 的偏差,Gensyn 的計算成本仍將大大低於AWS 和GCP 提供的按需服務。

Together

二級標題

二級標題

二級標題

Bittensor 解決了機器學習中的低效率問題,同時通過使用標準化的輸入和輸出編碼來激勵開源網絡上的知識生產,從而改變研究人員的協作方式,以實現模型互操作性。

Bittensor 是如何工作的

在Bittensor 上,礦工因通過獨特的ML 模型為網絡提供智能服務而獲得網絡的本地資產TAO 的獎勵。在網絡上訓練他們的模型時,礦工與其他礦工交換信息,加速他們的學習。通過抵押TAO,用戶可以使用整個Bittensor 網絡的智能並根據他們的需要調整其活動,從而形成P2P 智能市場。此外,應用程序可以通過網絡的驗證器構建在網絡的智能層之上。

Bittensor 的激勵機制吸引了專門的模型加入混合體,並在解決利益相關者定義的更大問題中發揮利基作用。每個礦工代表一個獨特的模型(神經網絡),Bittensor 作為模型的自我協調模型運行,由未經許可的智能市場系統管理。

驗證者

驗證者

驗證者

驗證者

在Bittensor 上,驗證器充當網絡MoE 模型的門控層,充當可訓練的API 並支持在網絡之上開發應用程序。他們的質押支配著激勵格局,並決定了礦工要解決的問題。驗證者了解礦工提供的價值,以便相應地獎勵他們並就他們的排名達成共識。排名較高的礦工獲得更高份額的通貨膨脹區塊獎勵。

驗證者也被激勵去誠實有效地發現和評估模型,因為他們獲得了他們排名靠前的礦工的債券,並獲得了他們未來獎勵的一部分。這有效地創造了一種機制,礦工在經濟上將自己“綁定”到他們的礦工排名。該協議的共識機制旨在抵制高達50% 的網絡股份的串通,這使得不誠實地對自己的礦工進行高度排名在財務上是不可行的。

礦工

總結

總結

總結

一級標題

總結

隨著去中心化機器學習生態系統的成熟,各種計算和智能網絡之間很可能會產生協同效應。例如Gensyn 和Together 可以作為AI 生態的硬件協調層,而Bittensor 可以作為智能協調層。

在供應方面,以前開採ETH 的大型公共加密礦工對為去中心化計算網絡貢獻資源表現出極大的興趣。例如,在他們的網絡GPU 發布之前,Akash 已經從大型礦工那裡獲得了100 萬個GPU 的承諾。此外,較大的私人比特幣礦工之一的Foundry 已經在Bittensor 上進行挖礦。

区块引擎BlockTurbo
作者文库