極客號(hào)（Daydx.com）9月18日 消息:據(jù)最新報(bào)道，日本政府與NEC、富士通、軟銀等主要科技公司正共同投資數(shù)億美元，旨在開發(fā)一款文化敏感的日語(yǔ)語(yǔ)言模型。這一舉措旨在超越現(xiàn)有的ChatGPT等模型，更好地代表日本文化和語(yǔ)言，解決當(dāng)前模型在日本市場(chǎng)上的一些不足之處。
由東京工業(yè)大學(xué)、東北大學(xué)、富士通和政府資助的 RIKEN 開發(fā)的日本 LLM 預(yù)計(jì)將于明年開源，并將擁有至少300億個(gè)參數(shù)。
新的日語(yǔ)語(yǔ)言模型將使用國(guó)家超級(jí)計(jì)算機(jī)Fugaku進(jìn)行訓(xùn)練，這將使其性能遠(yuǎn)遠(yuǎn)超越現(xiàn)有的模型。
研究人員指出，現(xiàn)有模型如ChatGPT存在一些問(wèn)題，例如生成一些罕見的字符和未知單詞，以及在文化上適當(dāng)且禮貌的溝通規(guī)范方面存在不足。這些問(wèn)題可能是由于日語(yǔ)具有多達(dá)48個(gè)字符的字母系統(tǒng)，以及漢字漢字的使用，每個(gè)字符都有不同的發(fā)音，以及大約50，000個(gè)很少使用的漢字。新模型的開發(fā)旨在解決這些問(wèn)題，提供更準(zhǔn)確和文化敏感的日語(yǔ)生成。
為了評(píng)估語(yǔ)言模型對(duì)日本文化的敏感度，研究人員還開發(fā)了Rakuda排名系統(tǒng)。根據(jù)排名結(jié)果，目前最優(yōu)秀的開源日本LLM在該排名中排名第四，而GPT-3.5表現(xiàn)卓越，名列榜首。隨著新模型的發(fā)布，預(yù)計(jì)其性能將明顯超越目前的情況，使其成為更好的文化代表。
日本文部科學(xué)省正在建立一個(gè)更大的模型。該模型擁有至少1000億個(gè)參數(shù)，也將基于日語(yǔ)并針對(duì)科學(xué)應(yīng)用進(jìn)行優(yōu)化:根據(jù)已發(fā)表的研究，它將產(chǎn)生新的假設(shè)以加速研究。該模型將耗資約2億美元，預(yù)計(jì)將于2031年向公眾開放。
最近，日本文部科學(xué)省還發(fā)布了指導(dǎo)方針，允許小學(xué)、初中和高中有限地使用ChatGPT等生成式人工智能，以促進(jìn)教育和研究領(lǐng)域的發(fā)展。這一舉措顯示了日本政府對(duì)人工智能領(lǐng)域的積極投資和支持。
