男女性潮高清免费网站,久久精品国产亚洲av麻豆图片,啊灬啊别停灬用力啊岳,国产天堂亚洲国产碰碰,亚洲精品一区二区久久,久久人人爽人人爽人人片av高清 ,久久本道综合久久伊人,伊人情涩网

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

大數(shù)據(jù)文摘
+ 關注
2022-12-16 12:09
1018次閱讀

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

大數(shù)據(jù)文摘出品
作者：Caleb
最近，ChatGPT可以說是火得不要不要的。
11月30日，OpenAI發(fā)布聊天機器人ChatGPT，并免費向公眾開放進行測試以來，在國內(nèi)已經(jīng)被玩出了花。

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

和機器人對話，就是讓機器人去執(zhí)行某個指令，比如說輸入關鍵字讓AI生成相應的畫面。
這好像也不是什么稀奇的事了，OpenAI在4月不是還更新了DALL-E的新版本嗎？
OpenAI，how old are you？（怎么老是你？）
要是文摘菌說生成的是3D畫面，還是HDR全景圖那種，或者是基于VR的圖像內(nèi)容呢？
最近，新加坡南洋理工大學的研究團隊就提出了這么一個AI，只要用戶用文字輸入一個描述得很清晰的場景，系統(tǒng)就能生成逼真的3D場景。
先來看看效果如何， 比如輸入“ 白天湖上的棕色木碼頭被綠樹環(huán)繞 ”時，系統(tǒng) 就給出了這樣的答案 ， 這光線和 細節(jié)效果 直 接拉 滿。

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

該研究已經(jīng)以Text2Light: Zero-Shot Text-Driven HDR Panorama Generation為題進行了發(fā)表。

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

論文鏈接：

https://arxiv.org/abs/2209.09898

無需訓練，即可生成3D的HDRIs

高質量的HDRI（高動態(tài)范圍圖像），也就是HDR全景圖，是目前創(chuàng)建逼真的360度3D場景的熱門方法。
考慮到捕捉HDRIs的難度，雖然現(xiàn)在有不少可利用AI生成3D場景的技術，但基本都需要進行一連串的參數(shù)設定，或是通過大量數(shù)據(jù)進行深度學習。
于是，研究人員提出了一個零拍攝文本驅動框架，即Text2Light，以生成4K+分辨率的HDRIs，并且整個過程不需要相應的訓練數(shù)據(jù)。
生成HDRIs的過程可以分為兩步。
第一步，基于雙代碼本的離散表示法將輸入文本翻譯成LDR全景圖。輸入文本首先被預訓練的CLIP模型映射到文本嵌入；其次，一個文本條件的全局采樣器學習根據(jù)輸入文本從全局編碼簿中采樣整體語義；然后，一個結構感知的局部采樣器合成局部補丁，并進行合成。
第二步，根據(jù)結構化的潛伏編碼作為連續(xù)表示，對第一階段的LDR結果進行升級。研究人員提出的超級分辨率反色調映射運算器（SR-iTMO）能夠同時提高全景圖的空間分辨率和動態(tài)范圍。

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

如此一來，在無需進行訓練之下就能生成具有4K分辨率的HDRIs，這也是迄今為止最先進的圖像生成模型，清除了從LDR到HDR轉換的不穩(wěn)定性，并創(chuàng)建了一對全景圖和文本供學習。
不過，目前此項技術仍處于早期研究階段，僅能產(chǎn)生低解析度的360度環(huán)景圖像內(nèi)容，但研究團隊計劃在未來，對現(xiàn)階段技術所產(chǎn)生環(huán)景圖像進行升級，同時加入HDR影像強化效果，讓生成的3D圖像或VR場景的觀看度更加流暢和有吸引力。

用文本驅動生成HDRI

接下來，我們就來看看一些操作過程。
先下載好checkpoints，注意團隊分別發(fā)布了室外（local sampler outdoor）和室內(nèi)（local sampler indoor）場景的模型。
從一個句子生成HDR全景圖：
  •  
python text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text "YOUR SCENE DESCRIPTION" --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4
從系列文本描述中生成HDR全景圖：
  •  
  •  
# assume your texts is stored in alt.txtpython text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text ./alt.txt --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4
生成低分辨率（512x1024）LDR全景圖：
  •  
  •  
# assume your texts is stored in alt.txtpython text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text ./alt.txt --clip clip_emb.npy
以此生成的HDR全景圖可以直接在任何現(xiàn)代圖形使用。 以在 三維計算機圖形軟件Blender進行對 舊金山景觀進行渲染為例，當輸入landscape photography of mountain ranges under purple and pink skies后，我們會得到這樣的圖像：

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

為了便于批處理，例如使用多個hdri進行渲染，在命令行中也可以提供渲染3D的腳本。
解包，檢查檢查Blender的使用情況：
  •  
  •  
  •  
  •  
# assume your downloaded version is 3.1.2tar -xzvf blender-3.1.2-linux-x64.tar.xzcd blender-3.1.2-linux-x64./blender --help
添加別名：
  •  
  •  
# PATH_TO_DOWNLOADED_BLENDER indicates the parent directory where you save the downloaded blenderalias blender="/PATH_TO_DOWNLOADED_BLENDER/blender-3.1.2-linux-x64/blender"
然后回到Text2Light代碼庫，為不同的呈現(xiàn)設置運行以下命令：
  •  
blender --background --python rendering_shader_ball.py -- ./rendered_balls 100 1000 PATH_TO_HDRI
就能得到這樣的結果：

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

該項目也在GitHub上開源了：

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

GitHub鏈接：
https://github.com/FrozenBurning/Text2Light
這個項目也得到了不少網(wǎng)友的好評。有網(wǎng)友就感嘆到，“人類的想象力是沒有邊界的”，照這個趨勢來看我們距離“輸入文字就能3D打印出一個真實物體”的時代也不遠了。

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

也有網(wǎng)友表示，當試圖輸入“一個四層半的榻榻米房間，房間內(nèi)有推拉門、拉門、餐桌、14寸黑白電視、黑色電話機”，仍然會擔心AI能否比較準確地再現(xiàn)這種場景。畢竟在想象中，“這應該是一個有異國情調的房間”。

兩句話，讓AI生成VR場景！還是3D、HDR全景圖的那種

對這個速成HDR全景圖的AI，大家有什么看法呢？也歡迎小伙伴們在評論區(qū)分享自己的使用心得~
相關報道：
https://www.itmedia.co.jp/news/articles/2210/11/news036.html

本文來自微信公眾號“大數(shù)據(jù)文摘”（ID:BigDataDigest），作者：文摘菌，36氪經(jīng)授權發(fā)布。

0
相關話題
AIGC賽道追蹤
相關文章
最新文章
查看更多
關注 36氪企服點評 公眾號
打開微信掃一掃
為您推送企服點評最新內(nèi)容
消息通知
咨詢?nèi)腭v
商務合作
主站蜘蛛池模板： 中文字幕人妻少妇引诱隔壁| 国产精品亚洲lv粉色| 免费无码va一区二区三区| 伊在人亚洲香蕉精品区| 免费女人裸体视频无遮挡免费网站 | 日本护士体内she精2╳╳╳| 少妇性l交大片| 日韩成人无码影院| 成年视频| 无码人妻精一区二区三区| 人妻少妇出轨系列| 1000部无遮挡拍拍拍免费视频观看 | 亚洲人成自拍网站在线观看| 在线看片免费人成视频大全| 伦理电影在线观看| 欧美bbwhd老太大| 熟熟熟熟熟熟熟熟妇50岁| 成年女人免费大片视频| 国产精品成人免费视频网站京东| 狠狠色丁香婷婷久久综合| 中文字幕 人妻熟女| 好姑娘高清影视在线观看| 欧美老妇疯狂xxxxbbbb | 我们高清观看免费中国片| 天天燥日日燥| 精产国品一二三卡区别| 天堂www在线资源天堂在线| 国内大量揄拍人妻精品視頻| 欧美videosdesexo| 青娱乐极品盛宴| 国产精品自在线拍国产| 丁香花在线| 最近的2019中文字幕视频| 综合久久| 亚洲大成色www永久网站动图| 中文午夜人妻无码看片| 国产清纯美女遭强到高潮| 亚洲男同gay在线观看| 性色av无码久久一区二区三区| 粗大的内捧猛烈进出少妇视频| 精品人妻av区|