OpenAI：現(xiàn)在只需 5~10 人即可從頭重建 GPT-4，發(fā)展瓶頸已經(jīng)從“算力”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)效率”
IT之家 4 月 11 日消息，OpenAI 開發(fā) GPT-4 曾耗費了大量人力物力，而現(xiàn)在卻只需 5~10 人團隊即可從頭走一遍這個流程。
OpenAI 首席執(zhí)行官薩姆?奧爾特曼（Sam Altman）今日在公司內(nèi)部播客中披露，得益于 GPT-4.5 的技術(shù)突破，重建 GPT-4 大模型所需團隊規(guī)模已從數(shù)百人縮減至 5-10 人。
這一結(jié)論也獲得了 GPT-4.5 預(yù)訓(xùn)練負責(zé)人亞歷克斯?佩諾（Alex Paino）、數(shù)據(jù)效率研究員丹尼爾?塞爾薩姆（Daniel Selsam）等核心成員證實。
丹尼爾表示，“當(dāng)?shù)弥稠椉夹g(shù)已被實現(xiàn)，其復(fù)現(xiàn)難度就會大幅降低。我覺得，只要有可能，這就是一種巨大的作弊碼。”
佩諾表示，GPT-4.5 的設(shè)計目標(biāo)是比 2023 年 3 月發(fā)布的 GPT-4"智能 10 倍"，他還補充道，"通過這種 GPT 預(yù)訓(xùn)練流程的優(yōu)化，我們的規(guī)模也較之前拓展了 10 倍。"
此外，奧爾特曼還聲稱公司已突破 "算力制約" 瓶頸，而且他認為世界尚未真正理解這一轉(zhuǎn)變。在此之前，各大科技公司已相繼投入海量資金用于 AI 基礎(chǔ)設(shè)施建設(shè)，其中微軟、亞馬遜、谷歌和 Meta 四家科技巨頭 2024 年 AI 基礎(chǔ)設(shè)施資本支出預(yù)計達 3200 億美元（IT之家注：現(xiàn)匯率約合 2.34 萬億元人民幣）。
OpenAI 認為，技術(shù)瓶頸已從算力轉(zhuǎn)向數(shù)據(jù)效率領(lǐng)域（可能是指算力的邊際效用遞減，所以需要從算法方面尋求突破）。丹尼爾指出，當(dāng)前 GPT 系列模型數(shù)據(jù)利用率存在 "洞察深度天然上限"。
"當(dāng)算力持續(xù)擴張時，數(shù)據(jù)增長速度明顯滯后，最終形成發(fā)展瓶頸。要想突破這一限制，需要進一步實現(xiàn)算法創(chuàng)新，從同等數(shù)據(jù)量中榨取更高價值。"
相關(guān)閱讀：
來源:IT之家
