OpenAI扔出DALL·E 3！能畫畫的ChatGPT要來了
本文系本站新聞•本站號特色內容激勵計劃簽約賬號【智東西】原創內容，未經賬號授權，禁止隨意轉載。
作者 | 香草編輯 | 李水青
智東西9月21日消息，今天凌晨，OpenAI宣佈其文生圖工具DALL·E即將升級至DALL·E 3，並將原生集成至ChatGPT中。
相比去年發佈的DALL·E 2，在提示詞相同的情況下，DALL·E 3對文字的理解程度及生成的圖像質量顯著提升。時常被詬病的“無法在圖像上生成文字”的問題，也在這次升級中得到了解決。
▲DALL·E 3（右）和DALL·E 2（左）生成圖像效果對比圖，提示詞爲：在暴風雨的大海中，一個半透明玻璃製成的人類心臟矗立在一個基座上。陽光穿透雲層，照亮了心臟，揭示了一個微小的宇宙。“尋找你內心的宇宙”這句話在地平線上用粗體字蝕刻着。（圖源：OpenAI、Sambhav Gupta）
而DALL·E 3與ChatGPT的結合，更是產生了奇妙的化學反應。用戶不再需要學習如何使用合適的提示詞來描述自己想要的圖像，因爲ChatGPT可以直接理解自然語言，幫你完成這一切。
▲在ChatGPT中使用DALL·E 3直接生成圖像（圖源：OpenAI官網）
升級版的DALL·E 3將於10月首先向ChatGPT Plus和企業版客戶開放，之後在秋季稍晚些將提供API接口並面向公衆開放。
此外，OpenAI特別強調DALL·E 3已採取多方面安全措施，包括暴力內容限制、拒絕生成含公衆人物圖像、拒絕模仿在世藝術家風格等，且允許創作者提交刪除自己圖像的申請。
男子高铁爱蹭饭，列车长：别装了，我们100个车长有60个都认识你
那麼DALL·E此次升級究竟實現了怎樣的效果？和ChatGPT的集成又將擦出什麼樣的火花？OpenAI通過一段視頻演示以及多張圖像示例，向我們生動地展示了DALL·E 3的強大之處。
一、原生集成於ChatGPT，DALL·E 3可以直接“講故事”了
DALL·E此次升級，最大的亮點無疑是與ChatGPT的原生集成。OpenAI稱，現在的文生圖系統大多將重點放在生成圖像的質量和水準上，而忽略了文字和描述的重要性，這使得用戶不得不學習複雜的提示詞工程。
而DALL·E 3通過集成ChatGPT，使文字生成圖像這一過程中的“文字”部分實現了質的飛躍。
過去，當用戶使用DALL·E 2、Midjourney等文生圖AI工具時，通常的做法是：首先通過ChatGPT等聊天機器人，用簡單的提示詞生成豐富的圖像描述文本；然後再進入文生圖軟件，用圖像描述文本生成圖片。如果生成效果不佳，就需要反覆操作多次，步驟十分繁瑣。ChatGPT+DALL·E 3的組合則直接省去了中間步驟，一步到位。
OpenAI提供了一個視頻來展示DALL·E 3的使用效果。這是一個家長爲5歲孩子將想象帶到現實中的故事。
當家長詢問：“我家5歲的寶寶總是提到一隻‘超級向日葵刺蝟’——它會長什麼樣子？”
ChatGPT生成了四段描述該刺蝟的文字，隨後根據文字生成了相應的圖像。
家長選擇了其中一張圖像，追問道：“我的女兒說這隻刺蝟名字叫Larry，可以提供更多它的圖像嗎？”
ChatGPT此時根據用戶選擇的刺蝟形象，生成了更多不同畫風的圖像。
隨後，家長說想看看Larry的房子，ChatGPT便生成了一張Larry在房門口檢查信箱的畫面。
值得注意的是，他的信箱上甚至寫着自己的名字“LARRY”。這意味着DALL·E 3實現了在圖像上寫字的功能。
結合ChatGPT的文字生成功能，這隻小刺蝟還可以擁有自己的“人設”。
當家長追問：“是什麼讓他如此‘了不起’？”ChatGPT回答，是因爲他有着向日葵花瓣作爲“刺”，並且很善良。
家長繼續追問，他的善良是如何體現的？ChatGPT便生成了一幅漂亮的插畫，畫面上，Larry和蝴蝶、小鹿以及其他的小刺蝟夥伴們一起在草叢上玩耍。
此外，ChatGPT在畫風遷移方面也完成得很好。可以生成不同風格的Larry，比如貼紙風：
最後，當家長提出是否可以基於這些內容講一個睡前故事，ChatGPT便生成了一個名爲“了不起的向日葵刺蝟Larry”的故事。
當然，ChatGPT也可以繼續爲自己講的這個故事創作插圖。
不得不說，ChatGPT和DALL·E的結合可以實現1+1>2的效果。比起之前提供多個獨立、專業提示詞的生成方式，現在的DALL·E 3更像是以講故事、聊天的方式，完成了圖像的生成和二次創作。
二、相同提示下，DALL·E 3生成圖像質量顯著改進
DALL·E 3和ChatGPT的集成之所以能夠產生優秀的“連招”效果，離不開DALL·E 3模型本身的性能提升。
DALL·E 3在圖像生成方面比DALL·E 2改進了很多。OpenAI提供了一個例子，對於同樣的提示詞“一幅表現籃球運動員扣籃的油畫，描繪成星雲的爆炸”，同時使用DALL·E 2和DALL·E 3生成圖像並進行對比。
可以看出，DALL·E 3對“扣籃”這一動作的描繪更加準確，對“星雲爆炸”這一風格的遷移也更加相似。相比之下，DALL·E 2描繪的圖像手繪質感更強烈，對提示詞的表現沒有那麼貼近。
▲DALL·E 2（左）與DALL·E 3（右）生成圖像對比（圖源：OpenAI）
OpenAI在旗下社交媒體Instagram上分享了多張由DALL·E 3生成的圖像，並分享了用於生成這些圖像所使用的文字和描述。
李佳琦不当言论“翻车”，花西子道歉；湖南一初中…
比如下圖，所使用的提示詞爲：一個牛油果坐在治療師的椅子上，說“我只是覺得內心很空虛”，它的身上有一個坑大小的洞。治療師是一個勺子，正在潦草地記着筆記。
▲DALL·E 3生成的插畫（圖源：OpenAI）
一位AI愛好者Sambhav Gupta在其社交媒體X上分享了他利用OpenAI提供的提示詞在DALL·E 2中生成的圖像。可以明顯看出，DALL·E 2對於這種自然語言提示詞的理解差了很多，也無法生成準確的文字，看起來更像是亂碼。
华晨宇女友曝光，惊悚妆容引发热议，网友：不是一家人不进一家门
▲Sambhav Gupta使用DALL·E 2生成的圖像
Gupta嘗試了OpenAI公開分享的9張圖像的提示詞。可以看出，無論是從準確性上，還是畫面的精緻程度上，DALL·E 3比起DALL·E 2都有較大的提升。
▲Sambhav Gupta使用DALL·E 2生成的圖像與DALL·E 3生成圖像對比
DALL·E 2於去年4月發佈，並於同年7月面向公衆開放。時隔一年多，OpenAI宣佈新版DALL·E將於10月首先向ChatGPT Plus用戶和企業版用戶發佈，隨後在秋季提供API接口並面向公衆開放。
三、注重安全、版權保護，創作者可提請刪除作品
9月20日，OpenAI宣佈面向全球公開招募“紅隊網絡”，邀請有興趣提高OpenAI模型安全性的領域專家組成一個社區，幫助評估和抵禦風險提供信息。
此前，OpenAI曾多次被起訴侵權，指出其大模型訓練未經允許使用他人的作品。也許是爲了規避類似的情況，此次更新時，OpenAI特別強調了安全性和版權問題。
OpenAI聲稱，團隊已採取相應的措施來限制DALL·E 3生成含有暴力、成人、仇恨等違規內容的能力。此外，他們與紅隊網絡合作，提高了風險領域的安全性，拒絕生成包含公衆人物的內容。
在圖像侵權方面，OpenAI稱DALL·E 3將拒絕要求模仿在世藝術家的風格，且創作者們可以通過填寫表單，要求OpenAI將他們的作品從模型訓練中刪除。
▲OpenAI爲創作者提供的申請表單（圖源：OpenAI官網）
和DALL·E 2一樣，用戶使用DALL·E 3創建的圖像可自由使用，用戶對圖像擁有使用權、商用權等。
此外，在最近備受關注的數字水印方面，OpenAI稱正在研究識別AI生成圖像的最佳方法。他們正在測試一種新的內部工具，用於識別圖像是否由DALL·E 3生成，並且希望利用這一工具可以更好地瞭解圖像的生成方式。該工具相關的信息也將盡快公佈。
結語：DALL·E 3+ChatGPT，重新定義AI繪畫方式
今天凌晨，OpenAI宣佈將在10月開始陸續向ChatGPT Plus版、企業版等原生集成升級後的DALL·E 3。從目前公開的資料來看，DALL·E 3將會是一次巨大的變革，不僅通過與ChatGPT的結合顛覆了文字描述的方式，在生成圖像的質量上也實現了顯著的進步。
儘管OpenAI此次更新特別強調了安全及版權相關的問題，但在AI繪畫領域，相關的爭議仍備受關注。此外，AI繪畫工具對於藝術創作者而言究竟是輔助還是威脅，創作者是否會因此失業等問題，也值得企業和社會思考和反思。
無論如何，DALL·E 3的此次更新勢必會引發大範圍的討論和爭議，甚至可能直接重新定義AI繪畫的方式。未來，AI繪畫領域將如何發展，是我們共同關心的問題。