男女性潮高清免费网站,久久精品国产亚洲av麻豆图片,啊灬啊别停灬用力啊岳,国产天堂亚洲国产碰碰,亚洲精品一区二区久久,久久人人爽人人爽人人片av高清 ,久久本道综合久久伊人,伊人情涩网

“吞金獸”ChatGPT背后：AI算力告急！

科技云報道
+ 關注
2023-02-15 16:12
788次閱讀
“吞金獸”ChatGPT背后：AI算力告急！
近兩個月來，全世界的網友們都在興致勃勃的“調教”ChatGPT，但第一個受不了的卻是ChatGPT的所有者。
“吞金獸”ChatGPT背后：AI算力告急！
為了更長遠的發展，OpenAI宣布了付費訂閱版ChatGPT Plus，每月收費20美元。
雖然OpenAI表示，將持續提供免費版，并且收費項目也將更好的“幫助盡可能多的人使用免費服務”。 但是《紐約時報》也指出“在高峰時段，免費版訪問人數將受到限制。 ”
顯然，收費會是ChatGPT這類AI服務長久發展的必然選擇。
究其根源，在于ChatGPT“越來越聰明”的背后，需要龐大的費用支撐。其中，算力成本是最重要的，也是最不能偷工減料的一部分。
那么，ChatGPT到底需要多少算力來支撐？
“吞金獸”ChatGPT背后：AI算力告急！
“吞金獸”ChatGPT的
算力消耗
ChatGPT對算力的消耗可以分為三個主要場景：
一是模型預訓練過程，這是ChatGPT消耗算力的最主要場景。
ChatGPT采用預訓練語言模型，在Transformer的模型架構下，語言預訓練過程可以根據上下文一次處理所有輸入，實現大規模并行計算。
通過堆疊多個解碼模塊，模型的層數規模也會隨著提升，可承載的參數量同步增長。與之相對應的，模型訓練所需要消耗的算力也就越大。
據OpenAI團隊發表于2020年的論文《Language Models are Few-Shot Learners》，訓練一次1746億參數的 GPT-3模型需要的算力約為3640 PFlop/s-day。
即假如每秒計算一千萬億次，也需要計算3640天。
考慮到ChatGPT訓練所用的模型是基于GPT-3.5模型微調而來，GPT-3.5模型增加了參數量和訓練樣本量，包含超過1746億個參數，那么預估訓練一次ChatGPT所需算力至少需要約3640 PFlop/s-day的算力。
東吳證券研報分析認為，ChatGPT的優化主要來自模型的增大，以及因此帶來的算力增加。
GPT、GPT-2和GPT-3的參數量從1.17億增加到1750億，預訓練數據量從5GB增加到45TB，其中GPT-3訓練單次的成本就高達460萬美元。
同時，模型開發過程很難一次取得成功，整個開發階段可能需要進行多次預訓練過程，因此對于算力的需求是持續的。
此外，從基礎大模型向特定場景遷移的過程，如基于ChatGPT構建醫療AI大模型，需要使用特定領域數據進行模型二次訓練，同樣會增加訓練算力需求。
二是模型迭代過程。
從模型迭代的角度來看，ChatGPT模型并不是靜態的，而是需要不斷進行模型調優，以確保模型處于最佳應用狀態。
這一過程中，一方面是需要開發者對模型參數進行調整，確保輸出內容不是有害和失真的；另一方面，需要基于用戶反饋和PPO策略，對模型進行大規模或小規模的迭代訓練。
因此，模型調優同樣會為ChatGPT帶來算力成本，具體算力需求和成本金額取決于模型的迭代速度。
三是日常運營過程。
在日常運營過程中，用戶交互帶來的數據處理需求同樣也是一筆不小的算力開支。考慮到ChatGPT面向全球大眾用戶，用的人越多，帶寬消耗越大，服務器成本只會更高。
據SimilarWeb數據，2023年1月ChatGPT官網總訪問量為6.16億次。
據Fortune雜志，每次用戶與ChatGPT互動，產生的算力云服務成本約0.01美元。
基于此，ChatGPT單月運營對應成本約616萬美元。
據上文，我們已知訓練一次1746億參數的GPT-3模型需要3640 PFlop/s-day的算力及460萬美元的成本，假設單位算力成本固定，測算ChatGPT單月運營所需算力約 4874.4PFlop/s-day。
直觀對比，如果使用總投資30.2億、算力500P的數據中心來支撐ChatGPT的運行，至少需要7-8個這樣的數據中心，基礎設施的投入都是以百億記的。
當然，基礎設施可以通過租用的方式來解決，但算力需求帶來的本壓力依然巨大。
隨著國內外廠商相繼入局研發類似大模型，將進一步加大對算力的需求。
“吞金獸”ChatGPT背后：AI算力告急！
AI算力霸權時代的到來
模型算力需求增速超越芯片性能增速，算力霸權時代或將到來。
據OpenAI測算，自2012年以來，全球頭部AI模型訓練算力需求3-4個月翻一番，每年頭部訓練模型所需算力增長幅度高達10倍。
而摩爾定律認為，芯片計算性能大約每18-24個月翻一番。
數據顯示，從2012年到2018年，訓練AI所耗費的算力增長了30萬倍，而摩爾定律在相同時間只有7倍的增長。
因此，AI訓練模型算力需求增長與芯片計算性能增長之間的不匹配，或將帶來對算力基礎設施供給需求的快速增長。
考慮到算力對于AI模型訓練效果的關鍵性作用，擁有更豐富算力資源的模型開發者，或將能夠訓練出更優秀的AI模型。
所以現在有一種說法：AI進入了新的算力霸權時代，大家要用千倍、萬倍的算力才能訓練出世界上最好的算法。
那么無論是誰參與進來，都需要回答一個問題：算力成本怎么解決？
在中國，這個答案就藏在國家如火如荼推進的“東數西算”工程里。
數據顯示，我國算力產業規模快速增長，近五年平均增速超過30%，算力規模排名全球第二。
但在發展的過程中仍面臨人均算力尚低、算力隨需處理的需求難以滿足、算力應用廣度和深度不夠等問題。
因此，國家“東數西算”工程通過構建全國一體化的新型算力網絡，優化數據中心建設布局，將東部算力需求有序引導到西部，利用西部的資源優勢，為數字中國的發展提供低碳、低成本的優質算力。
對于AI產業來說，“東數西算”也可以成為“東數西訓”，即龐大的訓練算力需求完全可以轉移到算力成本更低，同時規模更具優勢的西部數據中心中進行。
對應的，這些承載智能訓練的數據中心本身，也將為更好的適應智能訓練需求進行針對性改造，比如在能源供給、散熱結構、機柜形態等方面更適合使用了大量智能訓練芯片的服務器等。
這也為數據中心未來發展提出了新的思路。
數據中心建設將告別千篇一律的通用時代，進入以場景為指引、以應用為導向的“專用”時代，“東數西訓”、“東數西渲”、“東數西存”等應用將成為主流方向。
目前，我國算力產業仍在高速增長。
據IDC與浪潮信息聯合發布的《2022－2023中國人工智能計算力發展評估報告》顯示，相較于2020年我國135EFLOPS的算力總規模，2022年我國智能算力規模近乎翻倍，達到268EFLOPS，超過通用算力規模；預計未來5年我國智能算力規模的年復合增長率將達52.3％。
未來，我國還應在算力方面進一步加強超算中心、智算中心和邊緣數據中心建設，不斷滿足政府、行業、企業甚至個人等多樣化的智能場景需要，以算力賦能智慧城市、智慧醫療、智慧農業等千行百業的高質量發展。
不僅如此，大力加強自主可控高端芯片生產能力，爭取在量子芯片領域實現換道超車，加強算力人才培養，同樣是保持我國AI算力領先的重要手段。

本文來自微信公眾號“科技云報到”（ID:ITCloud-BD），作者：科技云報道，36氪經授權發布。

0
相關文章
最新文章
查看更多
關注 36氪企服點評 公眾號
打開微信掃一掃
為您推送企服點評最新內容
消息通知
咨詢入駐
商務合作
主站蜘蛛池模板： 2020精品国产自在现线看| 尤物tv国产精品看片在线| 暖暖 免费 日本大全在线观看 | 亚洲av永久无码精品表情包| 把腿扒开让我添个痛快| 天下第一社区在线观看| 国产精品毛片a∨一区二区三区| 婷婷四虎东京热无码群交双飞视频| 成人亚洲精品久久久久软件| 天堂va蜜桃一区二区三区| 好姑娘视频完整版免费观看| 国产国拍精品av在线观看| 青青草原精品国产亚洲av| 日本一区二区三区在线 |观看| 熟女俱乐部五十路六十路| 公和我做好爽添厨房| 日本mv高清在线成人高清| 国产av一区二区三区| 激情亚洲一区国产精品| 国产在线观看香蕉视频| 麻豆精品国产91久久久久久 | 国产av一区二区三区天堂综合网| 四川少妇大战4黑人| 最新色国产精品精品视频| 暖暖 在线 视频 免费 视频| 欧美放荡的少妇| 97人妻无码一区二区精品免费| 最近2018中文字幕在线高清6| 亚洲国产成人精品青青草原| 中文无码一区二区不卡αv| 六十路の高齢熟女が| 中文乱幕日产无线码| 绝美人妻被夫前侵犯| 18成禁人视频免费网站| 日本熟妇色videosex| 尤物在线观看免费网址| 亚洲第一最快av网站| 亚洲av无码潮喷在线观看| 久久免费精品国自产拍网站| 国模无码人体一区二区| 欧美人与动牲交zooz|