您的位置：首頁 >觀察 > 正文

叫板ChatGPT！AI作畫鼻祖Stability AI也推出大型語言模型

來源：華爾街見聞時間：2023-04-20 16:45:18

或許每一次歷史潮流的開場，總是這么熙熙攘攘，年初被ChatGPT引爆的AI大型語言模型(LLM），又迎來一位重磅入局者——Stability AI。

4月19日，推出火爆AI繪畫賽道Stable Diffusion的開源模型的公司Stability AI，宣布“加入戰局，叫板ChatGPT”，推出開源大語言模型StableLM。

【資料圖】

在Stability AI公告大語言模型的網頁上，一只體現了Stable Diffusion XL作畫特點的綠鸚鵡先于語言大模型的介紹出現了，大語言模型的"Stable Diffusion”時刻或許就這樣不期而至。

對于大語言模型StableLM，網站介紹道：

目前StableLM的Alpha版本中擁有30億和70億參數。
已經可以從GitHub等開源平臺上下載：https://github.com/stability-AI/stableLM/
Stability AI后續還將推出150億至650億參數的版本。
與Stable Diffusion類似，開發者可以在遵守協議的情況下，將這個模型用于商業或研究活動。

抨擊OpenAI不夠“open”的Stability AI，能穩定發揮，推出超越ChatGPT的大語言模型嗎？

大語言模型的“安卓時刻”

Stability AI成立于 2019 年，是生成式AI領域最知名的公司之一。

在ChatGPT“占領”的大語言模型市場上，不少人期待著類似Stable Diffusion的開源模型能盡快出現。

大語言模型的"Stable Diffusion”時刻可能在十幾個小時前到來了。

AI軍備競賽的開啟可以追溯到去年7月，在Open AI的繪畫模型DALL- E2之后，Stability AI發布的模型圖像生成模型 Stable Diffusion，因其源代碼開源，且對公眾開放使用，在當時吸引了更多的注意力（使用 DALL-E2 需要申請，通過率很低）。

Stability AI把StableLM的發布比作了Stable Diffusion，這讓AI可以繼續服務所有人：

2022年，Stability AI推動了Stable Diffusion的公開發布，這是一款革命性的圖像模型，代表了透明、開放、可擴展的AI。
這次我們發布開源StableLM模型，想繼續讓所有人都能使用AI。
我們的StableLM模型可以生成文本和代碼，并將支持一系列下游應用。

正如Stability AI的CEO Emad Mostaque所說，他們最新發布的LLM代表著Stability AI的初心“開源”:

現在每個人都可以在Hugging Face上測試驅動這個7B版本的聊天機器人。

Emad Mostaque認為，LLM不應在大公司內部進行訓練，社區系統的開放性也至關重要，需要更多監督，巨頭控制流量算法的游戲規則——是對人們的操縱。

Emad Mostaque 來源：Stability AI

因此，Stability AI在今年年初與Hugging Face等幾個初創公司一起資助了研究中心Eleuther AI，而StableLM便建立在Eleuther AI的開源模型上：

StableLM建立在我們與非營利性研究中心EleutherAI一起開源的早期語言模型基礎上，這些語言模型包括GPT-J、GPT-NeoX和Pythia等等。
此次大模型也是在The Pile開源的數據集上進行的訓練，該數據集結合了PubMed、StackExchange和維基百科等網站的的文本樣本，其規模是The Pile的三倍，包含1.5萬億個內容標記。

Stability AI表示，正式因為這個豐富的數據集，盡管參數規模和GPT-3沒有可比性，但StableLM在交流和編程方面都展現了“驚人的高性能”（surprisingly high performance ）：

盡管StableLM參數規模只有30億至70億（相比之下，GPT-3有1750億參數），但性能非常好，下面是例子：
在這個例子里，StableLM回到了有關“對于從高中畢業的朋友你回說些什么？”以及“寫一封郵件”的請求。
在這個例子里要求該模型寫一個“計算生命意義的C語言程序”，但該模型表示無法完成此項任務，但寫了一個計算生命長度的程序。

Mostaque在Twitter上表示，他相信StableLM及其訓練數據會隨著時間而變得更好，沒有人知道這個模型可以被優化到什么程度：