全面對(duì)標(biāo)Sora 生數(shù)科技聯(lián)合清華推出國(guó)內(nèi)首個(gè)純自研視頻大模型 | 大模界

每經(jīng)記者｜可楊    每經(jīng)編輯｜魏官紅    

4月27日，在中關(guān)村論壇未來人工智能先鋒論壇上，生數(shù)科技聯(lián)合清華大學(xué)正式發(fā)布中國(guó)首個(gè)長(zhǎng)時(shí)長(zhǎng)、高一致性、高動(dòng)態(tài)性視頻大模型Vidu。

據(jù)悉，該模型采用Diffusion（擴(kuò)散概率模型）與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長(zhǎng)達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容。生數(shù)科技方面介紹，與Sora一致，Vidu能夠根據(jù)提供的文本描述直接生成長(zhǎng)達(dá)16秒的高質(zhì)量視頻。

生數(shù)科技方面介紹，其核心技術(shù)U-ViT架構(gòu)由團(tuán)隊(duì)于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個(gè)Diffusion（擴(kuò)散概率模型）與Transformer融合的架構(gòu)，完全由團(tuán)隊(duì)自主研發(fā)。

Vidu所生成的短片，采用的是“一步到位”的生成方式，與Sora一樣，文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，在底層算法實(shí)現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

所謂插幀即通過在視頻的每?jī)蓭嬅嬷性黾右粠蚨鄮瑏硖嵘曨l的長(zhǎng)度或流暢度。這種方法需要對(duì)視頻進(jìn)行逐幀處理，通過插入額外的幀來改善視頻長(zhǎng)度和質(zhì)量，是一個(gè)分步驟的過程。但Vidu與Sora則是通過單一步驟直接生成高質(zhì)量的視頻，無需經(jīng)過多個(gè)步驟的關(guān)鍵幀生成和插幀處理。

2023年3月，生數(shù)科技團(tuán)隊(duì)開源全球首個(gè)基于U-ViT架構(gòu)的多模態(tài)擴(kuò)散大模UniDiffuser，在全球范圍內(nèi)率先完成融合架構(gòu)的大規(guī)模可擴(kuò)展性（Scaling Law）驗(yàn)證。UniDiffuser是在大規(guī)模圖文數(shù)據(jù)集LAION-5B上訓(xùn)練出的近10億參數(shù)量模型，支持圖文模態(tài)間的任意生成和轉(zhuǎn)換。在架構(gòu)上，UniDiffuser比同樣是DiT架構(gòu)的Stable Diffusion 3領(lǐng)先了一年。

生數(shù)科技表示，大模型的突破是一個(gè)多維度、跨領(lǐng)域的綜合性過程，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合。因此在發(fā)布之際，生數(shù)科技正式推出“Vidu大模型合作伙伴計(jì)劃”，誠(chéng)邀產(chǎn)業(yè)鏈上下游企業(yè)、研究機(jī)構(gòu)加入，共同構(gòu)建合作生態(tài)。

生數(shù)科技成立于2023年3月，公司創(chuàng)始團(tuán)隊(duì)來自清華大學(xué)人工智能研究院，是全球范圍內(nèi)最早從事擴(kuò)散概率模型研究的團(tuán)隊(duì)之一。截至目前，生數(shù)科技已完成數(shù)億元融資，投資方包括啟明創(chuàng)投、螞蟻集團(tuán)、BV百度風(fēng)投、達(dá)泰資本、錦秋基金、卓源亞洲等知名機(jī)構(gòu)。

封面圖片來源：視覺中國(guó)-VCG31N2008743681