AI搜索引擎再度進化?!
給這個AI一個主題,分分鐘給你甩出一篇論文綜述,而且還會自己提供論文引文。
又或者輸入一個科學類的名詞,AI也能迅速生成這個名詞專屬的維基百科。
這個AI名叫Galactica (簡稱:GAL),是最新開源的一個科學語言大模型,把AI轉化為科學生產力。
并且還實現了學科“大一統(tǒng)”,數學、物理、計算機…這個AI都能用。
模型剛一放出,就迅速引發(fā)網友熱議,目前相關推文已有近15萬瀏覽,累計點贊、轉發(fā)、引用也已破五千。
Facebook前技術官也出來為它來站臺。
還有網友親自體驗了一把,寫出來的文獻綜述“看起來相當不錯”,甚至直呼:
下一步它是不是就能產生新想法了。
其實寫文獻綜述和生產維基百科還只是GAL功能的一部分,除去這些,它還能回答一些專業(yè)問題、編寫科學代碼、注釋分子和蛋白質……
具體效果如何,一起來看看吧~
可以作為科學生產的工具
提到科學生產力,就肯定離不開論文的查找,這不,GAL幫你解決了。
它涵蓋了五種科學學科:機器學習、數學、計算機科學、生物以及物理。
選擇好學科,然后在左邊框輸入想要找的論文主題,右邊GAL便會推薦最合適的論文以供閱讀。
除了推薦論文之外,GAL還有一個更加實用的功能:生成講稿。
比如說要做個關于密度泛函理論(DFT)的pre,又懶得寫講稿,直接GAL一下,分分鐘搞定(手動狗頭)。
GAL還能夠用來注釋分子和蛋白質,如下就是GAL生成的RDKit(可生成用于機器學習的分子描述符)操作手冊。
在一些細節(jié)問題上,GAL也狠狠拿捏了!
就比如說你看不懂一些復雜的數學公式和代碼,沒關系交給GAL來解決,它能直接給你翻譯成大白話。
不僅如此,它還能實現數學公式和代碼之間的相互轉換,或者不同類型代碼之間的轉換。
更重要的是,他還有簡化公式和查錯功能。
怎么做到的?
GAL能實現這么復雜的功能,就不得不提到它的訓練數據集。
據官方消息,GAL是在一個名為NatureBook的新型高質量科學數據集上進行訓練的,這使模型能夠使用科學術語、數學和化學公式以及源代碼。
其中包括超過4800萬篇論文、教科書和課堂講稿,還有數百萬計的化合物和蛋白質、科學網站以及百科全書等等。
除此之外,為了查找論文并規(guī)范化引用,GAL的數據集中包含超過3.6億條上下文引用和超過5000萬條跨不同來源規(guī)范化的獨特參考。
有了這么龐大的數據集之后,那接下來便面臨兩個問題。
第一個問題是如何管理這些高質量的數據集,實現這點,GAL用了兩步:
所有數據都以一種通用的標記格式進行處理,打通各種來源數據之間的壁壘。
預訓練中包含用于特定任務的數據集,這就能保證在處理特定任務時能夠更加專業(yè)。
還有一個問題是:如何設計界面交互?
首先就像上文提到的那樣,GAL能夠支持不同類型的任務。
因此在設計界面交互時便對各種任務進行分類,不同的分類會支持不同的類型的數據。
既然GAL擁有高度管理和高質量的科學數據集,那和其他模型相比效果如何?
直接上數據!
推理方面,GAL的優(yōu)勢脫穎而出,在數學MMLU(大規(guī)模多任務語言理解)上,表現要優(yōu)于Chinchilla,數學方面,表現也優(yōu)于PalM 540B和GPT-3 175B。
盡管,GAL并沒有經過一般數據集的訓練,但它在BIG-bench上的表現仍舊優(yōu)于BLOOM和OPT-175B。
看完之后是不是也心癢癢了,先碼住再說!