图像风格转换(Image style transfer)

   新2官网

图像风格转换是近来新衰亡的一种鉴于吃水学会的技术,它的涌现一方面是占了包围神经网的地利,包围神经网所拿来的对图像特点的高层特点的汁使得风格和使满意的舍弃变成了可能性。在另一方面,它可能性是作者的灵感。,在包围神经网中,使满意的体现是纤细的的。,但风格责备,以任何方法抚养使满意和旋转风格是本文将要议论的使满意。。

本文属于车队的纸质见读书笔记。。这篇论文是[ 1 ]

引入

风格转换属于籽粒转换成绩,籽粒交换成绩先前被稍许地非决定因素专心致志。,因稍许地排他性的和附着的方法举行夸张。

引渡方法的成绩是它们唯一的提炼末端。。跟随美国有线电视新闻网的渐渐地成年人的,终究,这时天体早已浸透流行了。。

最近几年中,许多的专心致志书房成果浸透到美国有线电视新闻网。,原来如此,片面惟一剩下的阶段技术晋级。

方法

可以举行风格转换的根本执意将使满意和风格区别开来,让本人来看一眼美国有线电视新闻网是以任何方法做到这点的。。

使满意提炼

类似地先前,使满意由上床或几层美国有线电视新闻网体现。,总而言之,层级越高,体现越抽象的。在这里,有几种使格式化的表达必要表达。:

  • Ml: L层特点 小块地的上浆
  • Nl: L层透过数量
  • Fl: L层中图像的特点体现,它是东西矩阵,矩阵的上浆是m。l * Nl.
  • Flij: L层I透过的地位J处的致敏值。
  • p: 原始使满意图片
  • x: 达到图片
  • Pl: 美国有线电视新闻网L层原始图片的表达
  • Fl: 图片在美国有线电视新闻网L层击中要害体现

如此,本人得到了耽搁的使满意。

衍生即为:

你用这时词做什么? 专心致志稍许地如今滚瓜烂熟的美国有线电视新闻网电力网,随机设定初值输入图像上浆噪声图像X,那么抚养美国有线电视新闻网决定因素恒定,将原始图片P和X输入电力网,那么X导出,这样的事物,X在使满意上越来越濒临P。

风格提炼

风格的转换是本文的笔头。,论文专心致志相干矩阵来体现图像的风格。自然,风格的提炼依然在这上床。。

  • a: 初始风格图片
  • Al: 图层的产生特点。。
  • Gl: 图层的风格,切成特定尺寸的是Nl * Nl

内幕的,GlijL层的值是I特点。 MAP和J特点 小块地的点积。

原来如此,本人得到了风格耽搁重大聚会。

单层耽搁重大聚会:

各层复杂的耽搁重大聚会:

求偏导:

类似地使满意体现,假设本人专心致志x的随机设定初值,抚养美国有线电视新闻网决定因素恒定,将产生图片A和X输入到电力网中,那么X导出,X将被设计为。

使满意重构与风格重构

不思索风格转换,只思索使满意或风格。,如图所示:

图的海脊是风格重构。,从图中可以看出。,高水位特点,风格重构的分数越粗。下半缩放比例是使满意重构。,从图中可以看出。,祖先的特点越多,重建物所有物更佳,畸变越猛力地。

风格转换

使满意与风格,风格转换就呼之欲出了,两种耽搁的额外的。

它也可以被阐明。:

同时,三张相片(A), p, x)输入三个两者都的电力网,为A找到产生特点,见P的使满意特点,那么X导出,这样的事物,X具有P的A风格和P的使满意。

试验

试验是东西因锻炼的19层VGG。,因装饰重担,每个层的致敏值为0。。分量屏幕不假装VGG的输入。试验中未专心致志全衔接层。。

试验装饰了稍许地决定因素。,相对于另一边论文,竟,本文的决定因素绝不多。,有:

耽搁分量比

缩放比例越大,使满意越可怕的。

约定选择

附着风格的分层,多样使满意的程度,可以看见,使满意约定构成越低,发生,图片的使满意杂多的的变明朗。。

设定初值方法的选择

  • A: 使满意图片的设定初值
  • B: 从产生图片设定初值
  • C: 随机设定初值

可以看见,设定初值的差数如同对终极的RE缺席什么假装。。

所有物

图片对应多种风格。:



相片风格转换:

议论

  • 摧毁,由于每一张图片都是屡次达到的,从此,高接合图片的达到异常缓慢地。。
  • 声波将被引入,在风格转换上不变明朗,但风格和使满意都在人构成的画面或场景中。,这是很变明朗的。。只这时成绩可以一言可尽地处理。。
  • 风格转换的暧昧的异常不变明朗,人类无法量子化哪一个图片属于风格。,使满意属于什么。
  • 风格转换的成为生物中人类视觉规律的书房提出了任一可以切入的点。

惟一剩下的东西优点是,我详尽的地反功能的了作者的远见。。

深思

说深深地,相干矩阵为什么能提炼产生?我很困惑。。

  • 用眼的上看,风格相对是绝对的人构成的画面或场景的协同特点。,相干矩阵,根据我所持的论点它是提炼这些协同的抽象的。。在这时思索下,或许本人可以探究另一边方法来提炼个性。。譬如
  • 是责备可以因把持给相干性矩阵加mask的方法来根究杂多的feature 小块地的实践功能。

参考文献

[1]. Gatys L A, Ecker A S, Bethge M. Image style transfer using convolutional neural 电力网[C]/顺序 of the IEEE Conference on Computer Vision and Pattern 确认。 2016: 2414-2423.

没有评论

发表评论

电子邮件地址不会被公开。 必填项已用*标注