基于用户界面的图像风格迁移研究

高健鑫

（四川大学计算机学院，成都610065）

0 引言

随着信息化社会的快速发展，人们普遍利用移动应用获取他们想要的信息，那么如何向用户展示他们需要的信息显得非常重要，现在的App应用都是按照移动应用设计原则去设计界面，采用统一的布局方式、界面色彩搭配、组件搭配。但针对不同应用场景的移动应用采用统一的界面设计方式会导致用户的视觉疲劳，体验感下降。为了解决该问题，现有的方法是建立界面风格主题库来更改界面样式。通过对应用市场调查发现，目前应用市场主要采用主题更改、背景图片更改、字体更改的方法。但这三种方法都存在一些问题，主题更改的方式由于是基于界面样式库的实时更改会导致部分未在主题库的移动应用的风格转换失败，给界面整体美观造成影响，背景图片的更改方式只是对界面背景进行更改，并没有给予用户焕然一新的感觉，在字体更改方面存在着部分应用字体更改失败的情况，因此，为了解决以上问题，现有研究采用深度学习的方法进行风格转换，本文对近年来的图像风格迁移的研究方案进行归纳阐述，对采用深度学习的研究方法和实验效果进行综述。

1 基于深度学习的方法

1.1 基于前馈式卷积网络的风格迁移方法

作为图像风格迁移的创始人，Leon A.Gatys等人提出了一种基于卷积神经网络的方法进行图像风格迁移。通过Gatys的研究发现，传统艺术虽然通过图像的内容和风格之间复杂的相互作用创造独特的视觉体验功能，但其抽象的视觉效果会对视觉感知和图像识别造成影响。Gatys提出一个基于深层神经网络的方法，它可以实现高感知质量的艺术图，该方法主要利用深度学习来分离和重组图像的风格信息和内容信息，对初始化的合成图像进行多次迭代，在多次迭代中来更新变量并利用VGG19网络来抽取图像内容特征和样式特征，通过正向传播计算样式和内容损失并反向传播迭代模型参数不断更新合成图像。

1.2 基于语义的深度学习算法

通过Gatys等人的研究证明，卷积神经网络在图像合成和风格迁移方面非常有效，但是在风格迁移、图像合成过程中会破坏图像原有的物体的轮廓，使之无法被识别。通过Alex J.Champandard等人研究发现之前的卷积神经网络主要用途在于风格特征提取，但是其网络结构对于图像合成方面效果较差。其次卷积神经网络中更深层的layer具有更有意义的信息，但在生成模型用处不大。因此，提出一种语义分割的方式实现图像内容感知，缩小生成模型和像素级分类神经网络之间的差距，在生成阶段构建基于语义信息提升之后的图片合成网络结构，保留图像内容信息。

1.3 基于实时风格转换和超分辨率提升视觉效果方法

在界面艺术风格迁移过程中应注重两个问题，首先是界面图像内容损失和风格损失问题，其次就是界面图像转换效率和清晰度问题。由于Gatys等人的研究存在实时优化问题，所以J.Johnson等人的研究主要提升实时风格转换效率和界面视觉效果。该研究对Gatys提出的网络进行改进。一是在训练前馈卷积神经网络基础上将输出图像与原图像的像素差作为损失函数。二是通过预训练好的VGG19网络提取高级特征、定义并优化感知损失函数来产生高质量的图像。结合以上两种方法提出利用感知函数损失训练前馈网络进行图像风格迁移。

在超分辨率重建方面同样采用感知损失函数来替代像素差距的损失函数。相较于之前的研究，该方法在界面风格迁移方面能够明显的提升风格转换速度。但界面的视觉效果仍不理想，虽然应用界面具备图像风格，但组件元素轮廓发生扭曲，部分组件元素信息出现一定程度的缺失。

之后Xun Huang等人针对Gatys研究存在的缓慢迭代优化和泛化问题提出一种实时风格转换的方法。该研究提出一个新的自适应规范化层，它将内容特征的均值和方差与样式特征的均值和方差对齐，能够达到任意样式风格的实时传输且不受预定样式集的限制。该方法在界面风格迁移方面虽然提升转换速度且基本保留组件的结构信息但并不具备很好的图像色彩风格。

Li Xueting等人在任意风格转换方面进行进一步研究。研究发现之前的研究方法通过内容图像特征和变换矩阵的乘法，将艺术图像的统计信息传递到内容图像上。转换矩阵是通过预先确定的算法从特征计算出来的，但这些算法需要大量的运算，结果导致无法对合成图像的特征协方差进行建模并且还会产生伪影。为解决以上问题，Li Xueting等人实现一种前馈网络学习变换矩阵的任意风格转换方法，并允许多层次组合样式，同时在样式传输过程中保持内容不产生严重损失。

1.4 基于拉普拉斯转换提升视觉效果方法

之前研究提出的图像风格化算法在提取特征时是在高层次的CNN特征空间中完成，使之在感知效果上优于利用传统在像素空间计算的特征。但由于特征空间是对图像的抽象的表达，会无法避免丢失一些界面低层次特征如边缘等图形信息，这样的结果导致界面组件元素细节信息发生缺失。为此，Shaohua Li等人进一步提升风格转换效果，消除风格界面产生的伪影，使风格界面不但具备艺术图像风格，还要具有完整组件元素信息。该研究指出在像素空间中将界面图的拉普拉斯算子的滤波结果和风格化重建结果图的滤波结果之间的差异作为一个新的loss，添加到Gatys提出的损失函数就可以弥补抽象特征空间丢失低层次图像信息的缺点。

1.5 风格迁移过程中保留用户界面元素细节信息生成高质量的应用界面

由于之前研究在界面风格转换都产生各式各样的问题，Michael H.Fischer等人对之前的图像风格迁移研究进行总结，经过分析发现之前的风格转换方法不能达到良好的转换效果是因为缺乏样式中的结构元素，因此，他们提出在风格迁移过程中保留样式的结构元素，从而生成具备图像风格的高保真应用界面，该研究提出一种基于样式转移的方法，用户可以提供的任意样式图像进行风格转换，利用神经网络中输入图像和样式图像的激活信息，生成具备图像风格的应用界面。

2 改进

针对以上研究存在的各式各样的问题，主要归纳为两类，分别为风格信息和结构信息，

通过研究发现，基于前馈式卷积网络、拉普拉斯转换、基于实时风格转换和超分辨率提升和前馈网络学习变换矩阵的方法无法完整保留界面结构信息，风格界面中的组件发生严重扭曲无法识别，基于语义的深度学习算法生成的界面严重缺失图像风格信息，保留用户界面元素细节信息的方法虽然能够具备良好的界面结构信息和风格信息，但存在泛化问题，一些色彩单调、边界区分不清晰的风格图像在进行风格迁移后生成的应用界面中部分组件发生一定程度的扭曲。

现有研究都是在尽量把结构损失和风格损失降到最低的情况下生成界面图。我们在此基础上提出一种基于组件轮廓约束的图像生成的方法生成界面图。我们首先构建基于组件识别的目标检测方法描述出应用界面中的各个组件结构信息。其次在图像生成网路中采用反卷积的方式并以组件的结构信息作为约束条件，利用1.5小节中提出的结构损失、文本损失和内容损失构建新的特征损失，并重新生成界面图。通过实验证明重新生成的风格界面图能够具备良好的图像风格以及界面结构无明显损失。图1表示以上风格迁移研究的实验结果。

3 结语

在移动应用交互领域，应用界面风格化是较新的研究。目前现有研究效果最好的是Michael H.Fischer等人的研究，这也体现出图像的样式结构在生成界面图像的过程中拥有重要地位。

我们的目标是在界面风格融合的过程中，不对界面元素进行改变。深度学习方法能够弥补人类无法感知的界面细节信息，我们的下一步工作将会围绕界面风格进行展开研究，目前的工作都是在保证界面结构完整的基础上进行色彩融合，因此我们将会对界面布局进行研究迁移，结合组件信息、色彩信息和布局信息三个方面来完善应用界面风格。未来的界面风格迁移研究将会利用深度学习方法进行展开。

图1