adtop
首页 商业 查看内容

一句话生成照片这件事上英伟达又一次突破了大伙的想象力

2021-11-23 23:08| 发布者: 苏婉蓉| 查看: 61792| 评论: 0|来自: IT之家  阅读量:6461   

摘要:在一句话生成照片这件事上,英伟达又一次突破了大伙的想象力。 他们最新的AI模型GauGAN2,不仅能根据字词生成逼真风景照,还能实时用文字P图。 输入一句海浪击打岸边石,立刻输出一张逼真照片: 从单词到短语,这...

在一句话生成照片这件事上,英伟达又一次突破了大伙的想象力。

一句话生成照片这件事上英伟达又一次突破了大伙的想象力

他们最新的 AI 模型 GauGAN2,不仅能根据字词生成逼真风景照,还能实时用文字 P 图。

输入一句海浪击打岸边石,立刻输出一张逼真照片:

从单词到短语,这只 AI 全都能 get!

那感觉,简直是要山得山,要水得水:

要是觉得哪部分你不喜欢,直接打字就能P 图:

上面这些效果,都是英伟达这个叫做GauGAN2的模型做出来的,而它的完整版功能,还远不止这些。

从草图到文字,都能生成风景照

GauGAN2 的绘制模式,一共分为三种。

加上限定词 in the forest 后,AI 立刻就将场景换到了树林里,变成光洒在树林中的场景:

再多来点限定词也没问题。

像冬日树林中的阳光,输入 in winter 后,眼前本来郁郁葱葱的树林立刻全秃了,换成了雪景下的一幕:

这效果,u1s1确实不错。

还能输出不同 style 的风景图,例如输入大山一词,立刻要山有山,还能给你换不同风格:

当然,这些不同的风景照也都能继续生成新细节,在 mountain 后加上beside a river就能生成山水:

只需要把想替换掉的部分圈出来,输入你想要的东西,就能立刻造出各种新颖的风景图:

嗯。英伟达全新的RTX2060显卡有望限制挖矿能力,默认使用LHR版本,预计可以满足主流1080P分辨率游戏中高画质的需求。 英伟达给出的这个 demo,思路也是非常清奇了,浮在空中的城堡:

第三种,用涂鸦生成风景照。

这是上一代 GauGAN2的看家本领。

例如,要是想实现下面这样的一片天空两个太阳,就完全可以在通过文本生成的图像上,自己手动再加一个。

这几种玩法叠加在一起,简直让网友们脑洞大开。

像外媒 ZDNet 就恶搞出来了一种神奇的玩法,在已有的风景上画个人头:

然后让 GauGAN2 根据已有的画面,再重新生成图画,就会得到如下人头海岛的神奇景观:

不过这可能也对个人画技有所要求,在我们的灵魂画风下,效果看上去就有些 不太聪明的亚子

那么,生成这一系列风景照的 GauGAN2,背后究竟用了什么原理。

它与 OpenAI 今年发布的 DALLE 和 CLIP,又究竟有什么区别

与 DALLE 有什么不同

2019 年,英伟达 GauGAN2 的前身GauGAN 正式开源。

当时的它,还只拥有其中一个能力,就是将涂鸦直接变成风景画,就像「神笔马良」一样,还推出了对应的软件 Canvas:

当然,这时 GauGAN 已经能随意改变画面风格了,从白天黑夜到春夏秋冬的气质都能稳稳拿捏:

据英伟达介绍,GauGAN 采用了一种基于空间适应标准化算法。。

SPADE 算法不仅使用随机的输入图像,还采用了一种被称作分割图的图像在分割图中,每一个像素都会被归类,来生成更接近于真实的图像,这种模式被称作图对图翻译

GauGAN 的技能点

生成这些风景画的效果和手法,是不是感觉有点熟悉。

没错,大多数人看到 GauGAN2 的第一眼,可能都会觉得它和 OpenAI 的 DALLE+CLIP 有点像

不过,这两个模型生成的内容其实不太一样。

GauGAN2 专注于生成风景照,DALLE+CLIP 则更多地生成具体的物体,例如一把椅子或者一个闹钟等

这与它们的原理差异也有关系,GauGAN2 更加注重单词与视觉效果之间的关系,例如冬天这种模糊的状态词给照片带来的效果,DALLE+CLIP 则更注重文字—图像这种有明确对应关系的物体效果

据英伟达介绍,GauGAN2 不同于文本—图像和分割图像—图像一类的模型,它所能产生的照片种类更多,质量也会更高。

不过,偶尔也会出现点 bug…

比如给出沙滩一词后,有些生成的画面中出现了语言无法描述的事物。

对此,英伟达表示,他们在训练中完全没有用到任何人像照片。

但这样一来,网友想要的瑞克摇和鬼畜视频生成,GauGAN2 大概也是没办法实现了。

但是能生成仿佛梦境中才能见到的画面,也吸引了不少人来试玩。

这不,有人就晒出了自己生成的抽象画大作,并表示自己非常喜欢这个模型:

还有人表示,GauGAN2 给出了一些建筑设计的新 idea 啊。

也有网友觉得这种能够自动生成景观的功能,未来 Adobe 可能也会用上。

或许就是下一个画手利器。

最后,GauGAN2 在浏览器上就能试玩,欢迎大家留言讨论自己的体验感受。

GauGAN2 试玩 Demo 地址:点此直达

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

分享至:
| 收藏

相关

  • 承诺保持Tile品牌及其所有现有员工
  • 11月23日下午消息,Tile官方公告,将以2.05亿美元的价格被一家名为Life360的公司收购,收购预计将于2022年第一季度完成。 Tile成立于2012年,此前是海外颇为知名的蓝牙防丢器设计制造公司,他们的...
  • 企业家在线 发布于  2021-11-23 23:03  
  • 千亿私募高毅资产的海外持仓曝光总市值为2.12亿美元
  • 千亿私募高毅资产的海外持仓曝光。 美国证券交易委员会网站数据显示,截至2020年三季度末,高毅资产国际公司在美股市场持有18家公司的股票,总市值为2.12亿美元总体来说,高毅资产对中概股青睐有加,拼多多是其第一大重...
  • 企业家在线 发布于  2021-11-23 22:12  
  • 格力正式实行双休登上热搜双休实施后白天工作时长并无变化
  • 格力正式实行双休登上热搜。 11月22日傍晚,格力电器官方微博发布通知,将单双休工作制调整为双休工作制。 实行双休工作制后,取消所有加班,对于确实有加班需要的,由部门申请,报主管公司领导批准,并报企管部门备案,后续由...
  • 企业家在线 发布于  2021-11-23 21:48  

企业家在线© 2012-   X3.4