隨著ChatGPT、文心一言等AI產(chǎn)品的火爆，生成式AI已經(jīng)成為了大家茶余飯后熱議的話題。

可是，為什么要在AI前面加上“生成式”這三個(gè)字呢？

難道還有別的AI嗎？

1

生成式AI究竟是個(gè)啥？

如果將人工智能按照用途進(jìn)行簡(jiǎn)單分類(lèi)的話，AI其實(shí)要被劃分為兩類(lèi)：決策式AI和生成式AI。

• 決策式AI：專(zhuān)注于分析情況并做出決策。它通過(guò)評(píng)估多種選項(xiàng)和可能的結(jié)果，幫助用戶或系統(tǒng)選擇最佳的行動(dòng)方案。

  例如，在自動(dòng)駕駛車(chē)輛中，就是通過(guò)決策式AI系統(tǒng)決定何時(shí)加速、減速或變換車(chē)道。

  

• 生成式AI：專(zhuān)注于創(chuàng)造全新內(nèi)容。它可以根據(jù)學(xué)習(xí)到的數(shù)據(jù)自動(dòng)生成文本、圖像、音樂(lè)等內(nèi)容。

  例如，你可以將幾篇論文發(fā)給生成式AI，他可以生成一篇文獻(xiàn)綜述，囊括了這幾篇論文的關(guān)鍵思想、重要結(jié)論。

   

  

看到這里，你就知道為什么ChatGPT、文心一言屬于生成式AI了吧？

接下來(lái)，讓我們正式走入生成式AI的世界。

2

生成式AI的前世今生

2

其實(shí)，生成式AI的并不是這幾年剛剛誕生，它實(shí)際已經(jīng)經(jīng)歷了三個(gè)階段：

• 1950年，Alan Turing提出了著名的“圖靈測(cè)試”，這是生成式AI領(lǐng)域的一個(gè)里程碑，預(yù)示了AI內(nèi)容生成的可能性。

• 1957年，Lejaren Hiller和Leonard Isaacson完成了歷史上第一首完全由計(jì)算機(jī)“作曲”的音樂(lè)作品《Illiac Suite》。

• 1964年至1966年間，Joseph Weizenbaum開(kāi)發(fā)了世界上第一款可人機(jī)對(duì)話的機(jī)器人“Eliza”，它通過(guò)關(guān)鍵字掃描和重組完成交互任務(wù)。

• 1980年代，IBM公司基于隱形馬爾科夫鏈模型，創(chuàng)造了語(yǔ)音控制打字機(jī)“Tangora”。

  

隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)規(guī)模快速膨脹，為人工智能算法提供了海量訓(xùn)練數(shù)據(jù)。但是由于硬件基礎(chǔ)有限，此時(shí)的發(fā)展并不迅猛。

• 2007年，紐約大學(xué)人工智能研究員Ross Goodwin的人工智能系統(tǒng)撰寫(xiě)了小說(shuō)《1 The Road》，這是世界第一部完全由人工智能創(chuàng)作的小說(shuō)。

• 2012年，微軟公司公開(kāi)展示了一個(gè)全自動(dòng)同聲傳譯系統(tǒng)，可以自動(dòng)將英文演講者的內(nèi)容通過(guò)語(yǔ)音識(shí)別、語(yǔ)言翻譯、語(yǔ)音合成等技術(shù)生成中文語(yǔ)音。

  

2014年起，大量深度學(xué)習(xí)方法的提出和迭代更新，標(biāo)志著生成式AI的新時(shí)代。

• 2017年，微軟人工智能少女“小冰”推出了世界首部100%由人工智能創(chuàng)作的詩(shī)集《陽(yáng)光失了玻璃窗》。

• 2019年，谷歌DeepMind團(tuán)隊(duì)發(fā)布了DVD-GAN架構(gòu)用以生成連續(xù)視頻。

• 2020年，OpenAI發(fā)布ChatGPT3，標(biāo)志著自然語(yǔ)言處理（NLP）和AIGC領(lǐng)域的一個(gè)重要里程碑。

• 2021年，OpenAI推出了DALL-E，主要應(yīng)用于文本與圖像的交互生成內(nèi)容。

• 自2022年開(kāi)始到現(xiàn)在，OpenAI多次發(fā)布ChatGPT新型號(hào)，掀起了AIGC又一輪的高潮，它能夠理解和生成自然語(yǔ)言，與人類(lèi)進(jìn)行復(fù)雜的對(duì)話。

自此，生成式AI已經(jīng)到了一個(gè)井噴式狀態(tài)。那么，生成式AI究竟是基于什么樣的原理呢？

3

輕松搞懂“生成式AI”原理

在剛剛的介紹中，大家應(yīng)該都對(duì)生成式AI有了一個(gè)表象的認(rèn)知：學(xué)習(xí)知識(shí)+生成新知識(shí)。

但它是如何學(xué)習(xí)的呢？又是如何生成的呢？

這時(shí)候，我們就得來(lái)看看生成式AI更深層次的定義了：

定義

以ChatGPT為代表的生成式AI，是對(duì)已有的數(shù)據(jù)和知識(shí)進(jìn)行向量化的歸納，總結(jié)出數(shù)據(jù)的聯(lián)合概率。從而在生成內(nèi)容時(shí)，根據(jù)用戶需求，結(jié)合關(guān)聯(lián)字詞的概率，生成新的內(nèi)容。

是不是一下子懵了？

不急，這就觸及到生成式AI的原理了。待小編給你慢慢解析。

其實(shí)制作一個(gè)生成式AI，就像把一個(gè)泥人變成天才，一共需要四步：捏泥人→裝大腦→喂知識(shí)→有產(chǎn)出。

要打造一個(gè)生成式AI的“泥人”，首先要考慮的就是底層硬件。底層硬件構(gòu)成了生成式AI的算力和存力。

算力——泥人的骨架

生成式AI需要進(jìn)行大量的計(jì)算，尤其是在處理如圖像和視頻時(shí)。大規(guī)模計(jì)算任務(wù)離不開(kāi)下面這些關(guān)鍵硬件：

• GPU（圖形處理單元）：提供強(qiáng)大的并行計(jì)算能力。通過(guò)成千上萬(wàn)個(gè)小處理單元并行工作，大幅提高了計(jì)算效率。

• TPU（張量處理單元）：專(zhuān)門(mén)為加速人工智能學(xué)習(xí)而設(shè)計(jì)的硬件，能夠顯著加快計(jì)算速度，進(jìn)一步增強(qiáng)了骨架的強(qiáng)度。

  

存力——泥人的血液

生成式AI需要處理和存儲(chǔ)大量的數(shù)據(jù)。

以GPT-3為例，光是訓(xùn)練參數(shù)就達(dá)到了1750億個(gè)，訓(xùn)練數(shù)據(jù)達(dá)到45TB，每天會(huì)產(chǎn)生45億字內(nèi)容。

這些數(shù)據(jù)的存放離不開(kāi)下面這些硬件設(shè)施：

• 大容量RAM：在訓(xùn)練生成式AI模型時(shí)，大量的中間計(jì)算結(jié)果和模型參數(shù)需要存儲(chǔ)在內(nèi)存中，大容量的RAM能夠顯著提高數(shù)據(jù)處理速度。

• SSD（固態(tài)硬盤(pán)）：大容量的SSD具有高速讀取和寫(xiě)入能力，可以快速加載和保存數(shù)據(jù)，使泥人能夠高效地存儲(chǔ)信息。

  

泥人捏好了，但是現(xiàn)在只能是一個(gè)提線木偶，沒(méi)有任何能力，所以我們就要給他裝上大腦。

軟件架構(gòu)是泥人的大腦，它決定了這個(gè)泥人將以什么樣的方式對(duì)數(shù)據(jù)進(jìn)行思考推理。

從仿生學(xué)的角度，人類(lèi)希望AI能夠模仿人腦的運(yùn)行機(jī)制，對(duì)知識(shí)進(jìn)行思考推理——這就是通常所說(shuō)的深度學(xué)習(xí)。

為了實(shí)現(xiàn)深度學(xué)習(xí)，學(xué)者們提出了大量的神經(jīng)網(wǎng)絡(luò)架構(gòu)：

• 深度神經(jīng)網(wǎng)絡(luò)（DNN）是最普遍的神經(jīng)網(wǎng)絡(luò)架構(gòu)，但是隨著數(shù)據(jù)對(duì)于網(wǎng)路架構(gòu)的要求越來(lái)越復(fù)雜，這種方法逐漸有些吃力。

• 卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種專(zhuān)門(mén)為處理圖像數(shù)據(jù)而設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，能夠有效地處理圖像數(shù)據(jù)，但是需要對(duì)輸入數(shù)據(jù)進(jìn)行復(fù)雜的預(yù)處理。

• 隨著任務(wù)復(fù)雜度的增加，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）架構(gòu)成為處理序列數(shù)據(jù)的常用方法。

• 由于RNN在處理長(zhǎng)序列時(shí)容易遇到梯度消失和模型退化問(wèn)題，著名的Transformer算法被提出。