對話亞馬遜生成式AI產(chǎn)品研究院院長Sherry Marcus：Titan大模型不開源 更看重參數(shù)質(zhì)量丨WAIC 2023

【資料圖】

7月6日至7月8日，2023世界人工智能大會在上海舉辦。在本屆大會評選出的九大鎮(zhèn)館之寶中，亞馬遜的“Amazon Bedrock”就位列其中。據(jù)悉，Amazon Bedrock是亞馬遜云科技推出的一項(xiàng)完全托管的生成式AI服務(wù)，通過API提供來自領(lǐng)先的AI初創(chuàng)公司和亞馬遜自研的基礎(chǔ)模型，幫助客戶便捷安全地構(gòu)建和擴(kuò)展生成式AI應(yīng)用。

7月6日晚間，亞馬遜云科技生成式AI產(chǎn)品研究院院長Sherry Marcus接受了每日經(jīng)濟(jì)新聞在內(nèi)的媒體采訪。

目前，不少大模型的參數(shù)級別已經(jīng)達(dá)到千億級別。那么，是否參數(shù)級別越高越好呢？此外，亞馬遜的大模型是否開源呢？

Sherry Marcus回復(fù)記者表示：“首先，亞馬遜自研Titan模型不是開源的。關(guān)于參數(shù)數(shù)量是否代表模型好壞，這個問題確實(shí)有意思。實(shí)際上，這取決于具體情況。根據(jù)文獻(xiàn)當(dāng)中所記載的，如果你使用大語言模型對這些數(shù)據(jù)進(jìn)行訓(xùn)練，關(guān)鍵在于使用的數(shù)據(jù)質(zhì)量。如果只是使用了網(wǎng)絡(luò)上的一些數(shù)據(jù)，那么即便使用了非常大的模型，可能最后的準(zhǔn)確度并不會很理想。相比來說，如果使用的是相對比較小的模型，但使用的是高質(zhì)量數(shù)據(jù)，可能結(jié)果未必會輸給前者。但是如果說能夠用一些高質(zhì)量的數(shù)據(jù)，不僅有網(wǎng)絡(luò)上的數(shù)據(jù)，還有課本上數(shù)據(jù)，還有科學(xué)數(shù)據(jù)，即便使用小的模型也能夠獲得比較高的準(zhǔn)確度?！?/p>

此外，目前國際上有很多排行榜，這些排行榜對亞馬遜的意義又是什么呢？Sherry Marcus認(rèn)為：“現(xiàn)在有很多的LLM排行榜，這些排行榜評估模型的好壞需要具備出色的性能。然而，這些評估通常是基于特定的案例和任務(wù)。我們認(rèn)為這些排行榜可能展示了模型在特定訓(xùn)練任務(wù)上的表現(xiàn)，但并不代表模型的全部價值。我們的觀點(diǎn)是，在將這些模型應(yīng)用于客戶的數(shù)據(jù)之后，才能真正評判其結(jié)果所在?！?/p>

“我相信未來的語言模型會變得更龐大，也會有更多不同的模型出來，包括多模態(tài)的模型，它們使用了不同的數(shù)據(jù)集。也會有更多量身定制的模型涌現(xiàn)。另外，我們對于如何在特定商業(yè)中更好地使用這些模型，也將有更深入的理解。”Sherry Marcus補(bǔ)充表示。

值得注意的是，亞馬遜云科技也在自己的平臺上提供第三方的模型。那么，在第三方模型的安全性方面，亞馬遜是如何考慮的？此外，如何跟模型提供者進(jìn)行安全責(zé)任的劃分？

對此，Sherry Marcus認(rèn)為：“如果客戶使用第三方的模型，這些數(shù)據(jù)是存儲在亞馬遜云科技的EC2的服務(wù)器上面的，因此數(shù)據(jù)是比較安全的?！?/p>

關(guān)于責(zé)任劃分的問題，Sherry Marcus表示：“第三方的模型提供商負(fù)責(zé)確保準(zhǔn)確性和訓(xùn)練結(jié)果的質(zhì)量，而亞馬遜負(fù)責(zé)的是基礎(chǔ)架構(gòu)和模型相關(guān)的數(shù)據(jù)方面。因此，我們與第三方共同承擔(dān)模型的責(zé)任，就是安全責(zé)任共擔(dān)模型?！?

標(biāo)簽：