打开文本图片集

摘  要：伴随科技的发展，很多大型的护肤品公司和美容院开始研究人脸肤质测试仪，用机器代替人工来检测人脸的肤质状况。但目前市场上的人脸肤质测试仪主要是基于小型传感器和传统数字图像处理算法的技术产品。本文所探讨的检测方法实现了对人脸肤质检测从拍照取图到结果展示这一完整的测试流程，通过数字图像处理和深度学习技术相结合的手段，最大限度的展现出用户自身的肤质情况，以便更好地找出人脸皮肤质量问题及形成原因，并有助于研究人脸皮肤质量方案。

关键词：人脸肤质图像；深度学习；数字图像处理；检测

前言

随着深度学习的出现，极大推进了计算机视觉领域二维图像像素级分类的发展，其原理是：将输入图像通过神经网络逐层变换，使得图像低层特征逐渐转化成新的高层特征，通过神经网络进行自主学习样本特征表示。和人工表征以及浅层学习模型对比，通过深度学习方法提取出的模型特征更抽象（更符合人类的语义特征），使得图像分类和检索的准确率大幅提升。由此，本文将深度学习方法与数字图像算法的结合作为研究重点，通过软硬件结合的方式，基于深度学习方法构建出自主学习特征的网络结构，结合人脸肤质测试仪获取到的人脸图片进行找出相关的皮肤问题并进行定量分析。

一、人脸皮肤质量检测的研究现状

1.1 人脸皮肤质量检测方法

为解决上述问题，顺应时代发展的潮流趋势，人脸肤质检测仪应运而生。从简单原始的水分测试笔到到昂贵复杂的 Visa 皮肤检测仪，人脸肤质检测设备历经了长时间的发展以及多次的迭代，在这过程中，不断的引入新的技术手段和测评标准，力求科学直观的获取出人脸肤质情况的相关指标数据，下面介绍下在人脸肤质检测设备发展过程中相对主流的一些产品及其技术。

（1）水分测试笔

水分测试笔简单便携，是一种较为常见的肤质检测设备，如图1-1所示，用户可以随时随地的检测自己皮肤的含水量，很多人也会在测试相关护肤产品保湿力的时候，用水分测试笔来衡量，与此对应，有些商家也喜欢利用水分测试笔来为自己的新产品做宣传，突出其保湿能力强的优势

（2）DermavisionPRO医用级别皮肤检测工具

DermavisionPRO医用级别皮肤检测工具产于韩国，如图1-3所示，采用专业的RGB/UV/PL三光谱分析功能，利用扫描仪和传感器同时进行测量，可检测出斑点、毛孔、油脂、色素等多方面皮肤问题。由交互式设计、结果及时可见，对于医疗及美容护肤行业的应用十分广泛。可以精确、直观分析脸部皮肤状态：色斑、毛孔、粉刺、色斑、平滑度和皱纹，皮肤年年龄等等。

（3）DermaLab Combo康柏皮肤生理指标检测系统

丹麦Cortex公司成立于1986年，拥有超过30年的皮肤检测设备制造生产经验，是世界一流的皮肤检测设备及液氮冷喷设备生产供应商。Cortex公司为世界知名化妆品评估实验室、科学研究院、医疗研究院校及医院皮肤科等机构提供了无数精良的皮肤检测设备。

1.2 基于深度学习的分割技术研究现状

近几年来，深度学习的发展速度有目共睹，与此同时，包括计算机视觉在内的传统机器学习领域改用深度学习方法的情况愈来愈多，越来越多的传统算法研究者投入到深度学习的研究工作当中去，进一步加快的深度学习的发展速度。一般来说，在利用计算机视觉处理图片的过程中，可能只对图片中的某些特定的区域感兴趣，而这一部分区域习惯称其为前景或者目标区域，与之对应，图片中非前景的部分习惯性称为背景。

在探讨图像分割问题之时，一般会对图片的前景赋予一定的语义信息作为标签，为后续的研究工作提供便利，这种方法被称为语义分割。

作为计算机视觉领域中的一项关键技术，语义分割的好坏对后续的图像理解、物体识别和场景分析等任务具有至关重要的作用，以人眼直观视觉效果来评判，一个优秀的语义分割应用需具备以下特性：

①分割区域内部具有相似的特性；

②相邻分割区域在性质上具有明显差异；

③分割边界明确且规整。

由于图像内容的复杂性，传统的语义分割方法很难同时做好上述三个方面，但随着深度学习的引入，尤其是卷积神经网络在此领域的应用，在图像分割效果上呈现出不断突破态势，取得了一个又一个令众人信服的优秀成绩。

二、人脸肤质图像的标注与预处理

2.1 人脸肤质图像的标注

鉴于人脸肤质图像的复杂性，很难通过技术手段进行自动化批量标注，为保证数据的准确可用，现阶段主要依靠相关专业人员的全手动人工标注。在采集人脸肤质图像的过程中，会进行三种不同光源下的拍摄取图，三种光源分别是日光灯、偏振灯、UV灯，如下图2-1。

不同的皮肤任务会反应在不同的光源下，其中，皱纹、毛孔和浅层色素会反应在日光灯环境下的人脸图像，红血丝会反应在偏振灯环境下的人脸图像，荧光剂、粉刺和深层色素会反应在UV灯环境下的人脸图像。标注人员需要在掌握相关皮肤任务的外在特征和主要出现区域之后进行针对性的标注工作，如下表2-1，每个任务都需要一个单独标注图像，即在三张不同光源下的人脸肤质图像上进行标注，最终会获取7张不同任务的标注图片。

2.2 通过PS 标注人脸肤质图像

Step1： 安装 Photoshop。

Step2： 点击文件菜单里的“打开”，打开目标文件，如图 2-2（左）所示.

Step3： 新建两个图层，在左侧工具栏选择画笔不透明度 100%流量100%（像素大小根据标注目标自己裁定），在色板中选择红色，在图层2上用画笔标注你要的目标，标注完成后选中图层 1 填充黑色，如图2-2（右）所示。

Step4： 保存文件即可。

综上所述，这一部分主要是使用功能更加丰富的大型图像处理软件Photoshop，此方法对计算机性能要求更高，且标注过程更加繁琐，在精力时间充足的情况下可以极大的提升标注精度，但与此对应的是标注效率会有所降低，所以主要适用于毛孔、皱纹、红血丝、粉刺等对精度要求较高的皮肤任务的标注。

2.2 人脸肤质图像的预处理

（1）去背景

利用 Dlib 特征点标注，根据规范好的标注顺序，获取相应点位在图中的坐标位置，然后将图片中的脸部区域切割出来，切割结果如图 2-3所示，由于Dlib 的训练模型中没有相应的 UV 下的肤色内容，所以此方法难以对 UV 灯下的人脸图片进行关键点标注。

（2）图像增强

为更加突出毛孔和深层色素的表现，对这两种进行了情况分别进行了图像增强，如图2-4所示。其中图2-4（a）为毛孔，图2-4（b）为深层色素。

（3）图像反转

为更加突出粉刺和红血丝的表现，基于 HSV 颜色空间，对图像进行的反转处理，如图 2-5所示。其中图2-5（a）为粉刺，图2-6（b）为红血丝。

综上所述，为了能够高保障后续分割图像中的分割信息始终保持在合理范围内，即分割处理的区域保持在脸部区域内部，需要对原有图片进行预处理，使之背景区域部分被剥离，仅保留脸部部分。此外，为了进一步凸显相应的肤质状况，还对原图进行了图像去背景、图像增强和图像反转等操作。

三、人脸肤质图像的评估与分析

3.1 评估方法的设计

通过前面的数字图像处理和语义分割技术，可以获取到很多肤质参数，但仅仅依靠这些参数，很难直观的了解到具体的肤质情况，即某一种肤质情况处于哪一个等级，此组肤质图片的综合情况是好是坏等等。

为有效解决上述问题，引入了相应的评价模型，对上述七种特征参数进行评估，将评估结果分为 1 到 10 级。此外，本课题还在七种特征参数的评估基础上对全脸肤质情况进行一次整体性的评价。评估内容的具体如表3-1：

3.2 评估方式

结合本文的研究内容，可以使用的评价方式有两种，一种是基于从业人员的经验主义和公式化计算得出最终的评价数据，另外一种是基于一个简单有效的卷积神经网络来针对性对目标图像内容进行分类，并最终得出评价数据。之后通过测试图片对两种评价方式进行性能对比，主要综合运算时间和评价数据准确率两方面因素考虑。最后选取性能更佳的评价方式。

四、软硬件结合的整体平台搭建

4.1皮肤数据采集设备

为了更好采集到能够涵盖整个脸部的人脸肤质图像，设计并制作的相应的人脸图像采集设备，如图4-1所示，此设备主要由采集器和控制平板两部分组成，拥有分离式和一体机两种组成方式。

在图像采集过程中，用户脸部会在日光灯、偏振灯、UV 灯三种光源下被拍照取图，如此可以形成一组完整的可处理的人脸肤质检测图像，图像组会经由采集器上的蓝牙装置传输到控制平板中，而控制平板则通过无线网终将图片数据上传到服务端，并在一段时间后获取图片的处理结果。

4.2 Android 客户端

4.2.1 登录模块

在 Android 客户端中，进行人脸肤质检测前需要登录账户，由于控制平板和采集器是以配套的方式进行工作的，所以不存在个人私自注册账户的可能，会对持有此设备的用户发放特有的账户密码，称之为管理员账户，以供其登录使用。

在管理员账户登录之后会进入到主界面，在此界面中央处点击快速检测按钮，则会弹出手机号码输入框，每一个利用该设备进行人脸肤质检测的用户都需要与自身信息绑定一个唯一的手机号码，以此来方便后续的历史信息查询，同时达到了同一套设备实现多用户使用的目的。如若此用户是第一次使用该设备，即数据库内没有检索到任何该手机号码的信息，则会进入新用户信息注册界面，需要注册的信息为手机号码、名字、性别和生日等。在注册完成后会直接进入到设备拍照界面。

4.2.2 肤质测评模块

测评模块主要由检测模块和评价模块两部分组成，其中检测模块包括设备连接，人脸图像拍摄，上传服务器处理分析等功能。在处理分析期间会有一个短暂的进度加载过程，之后则会进入到评价模块，评价模块主要是对处理分析结果的可视化展现。

（1）检测模块

用户登录之后，会要求连接设备，连接完成后图像采集器底部灯光会常亮，此时 APP 界面会出现提示，即检测ipad连接到设备。再之后会进入到人脸图像拍摄界面，此时设备内的摄像装置会开启，其中具有检测设备是否连接正常的功能，如右下角的“开灯”等功能，在正式拍摄前可以进行手动测试，如一切正常，则可点击“拍摄”按钮进行人脸图像获取，拍摄完毕后会直接进入到处理分析阶段。

（2）评价模块

后台服务器在完成人脸图像的分析处理后，会把处理结果返还到客户端上，客户端会将处理结果分成三部分显示在三个界面当中。

第一部分是肤质评价概览，顾名思义，这部分内容会以概览的形式将用户的肤质检测结果信息展示在界面中，让用户对自己的肤质情况有一个大体上的了解。界面的左侧是用户在采集器中拍摄到的人脸肤质图像，通过底部滚动条可以改变图像日光灯图像和 UV 灯图像在窗口内的显示占比。中部是图像预处理部分，可以在原有图像的提出上进一步突出相关批复问题的外在表现特征，让用户看起来直观效果更加强烈。而界面右侧则是此用户相应的肤质情况经评估后等级得分，并在此基础上给出肌肤年龄的预估。

第二部分是肤质评价纬度，这里的维度是指在毛孔、粉刺、表层色素、深层色素、皱纹、敏感等六个纬度，此界面会在这六个纬度上分别展示具体的评价结果及其效果图。在界面左侧窗口，主要用于展示对应肤质情况的语义分割效果图，在窗口右上角处有一个类似“眼睛”的按钮，点击和屏蔽效果图，使窗口只显示原图。界面中部则具体介绍此维度下皮肤情况的严重程度、症状描述、形成原因及其示意图，并给出了相应的解决方案，其中，症状描述和解决方案均与皮肤情况的严重程度有关，会随严重程度的变化而变化。最后在界面右侧，则是各纬度的名称，以标签的形式存在，点击之后界面的右侧和中部则会切换到对应内容。

第三部分是肤质评价综合，此部分基于第二部分肤质评价纬度中的内容，来做进一步处理与展示。界面左侧综合分析部分，会选取评价纬度中分值最低的三个纬度进行重点标注，并会根据严重程度给出相应建议。界面右侧推荐产品部分，主要是根据界面左侧中的建议内容，选取功能中含有此建议内容标签的，或者功能与建议内容标签相近的护肤品进行推荐。

4.2.3历史查询模块

同一个人的不同时间段他的肤质情况绝不是一成不变的，因此能够让用户查询到其之间的测评记录是很有必要的，此外，在此基础上还添加了新的功能，即对比显示，此功能可以让用户更加清晰的了解到当前的肤质情况和之前某个时间段的肤质情况之间的具体差异。

在主界面界面需要有一个写有顾客档案的按钮，点进去会显示数据库中本管理员账户下所有用户的注册信息及其他们的肤质检测报告，每一个档案上会依次标有名称、生日、手机号码和最新的人脸肤质检测日期，且通过不同的颜色显示来区分男女。此外，可以通过界面顶部的信息栏，根据检测日期或者手机号码进行检索，找到相应的用户测评结果。

点击其中某个顾客的档案会进如到相应的用户历史信息库界面，左侧为用户信息，右侧为按时间顺序排列的用户历史测评结果，以供用户、管理员或者美容医师查阅。点击其中某一个历史测试结果后，会进入到上述评价模块中，在这个模块中，可以使用前面提到过的对比显示功能，在对比显示功能中，会将同一用户的同类型照片以并列形式放置在两个窗口中，每个窗口都可以在其顶部更换测评日期，窗口内会自动显示所更换日期的测评结果，以此方式可以实现任意两个时间点的测评结果的对比。

4.3系统整体测试

（1）账户

输入账号密码登录即可。

（2）控制平板与采集器的连接通信

连接设备。

（3）图像的拍摄与上传

在此过程中，设备会在营造出的三种不同光源环境下依次进行拍摄，每次拍摄的成功与否会在当前界面上以定格画面的形式展现出来。

（4）取分析结果

拍摄完成后点击立即分析，在一段时间后会获取分析结果。

（5）查看历史记录

软硬件结合工作，硬件部分主要由采集器和控制平板两部分组成，拥有分离式和一体机两种组成方式。在图像采集过程中，用户脸部会在日光灯、偏振灯、UV 灯三种光源下被拍照取图，如此可以形成一组完整的可处理的人脸肤质检测图像，图像组会经由采集器上的蓝牙装置传输到控制平板中。

软件部分主要是客户端，由于考虑成本等等因素，最终选用控制平板统一为Android 系统，也因此开发出的客户端为 Android 客户端。Android 客户端主要分为登录模块、肤质测评模块、历史查询模块。Android 客户端接收到采集器传输过来的图像组后会上传到后端服务器进行图形处理和肤质评估，并将处理后的分割效果图和肤质评估结果返回到 Android 客户端，之后客户端中会以可视化界面的形式展现给用户相应的信息，使用户能够详细且直观的了解到自身的肤质情况。此外，在客户端中的历史查询模块，用户还可以了解到当前的肤质情况和之前某个时间段的肤质情况之间的具体差异。

结语

本文首先设计了一套针对性的图像预处理算法和标注方法。在标注部分主要使用功能更加丰富的大型图像处理软件——Photoshop作为图像预处理工具，为了能够保障后续分割图像中的分割信息始终保持在合理范围内，即分割处理的区域保持在脸部区域内部，需要对原有图片进行预处理，使之背景区域部分被剥离，仅保留脸部部分，此外，在预处理部分还进行了特征增强。最后，完成了对人脸肤质检测系统整体平台的搭建。整体平台包含硬件部分和软件部分两个方面。硬件部分主要由采集器和控制平板两部分组成，拥有分离式和一体机两种组成方式。采集器用于人脸肤质图像的采集，控制平板为 Android平板电脑，作为客户端的载体。软件部分为 Android 客户端，主要分为登录模块.肤质测评模块、历史查询模块。

参考文献：

[1]张景源.便携式人脸肤质检测与评价系统的设计与实现[D].武汉理工大学，2015.

[2]http：//www.skinhp.cn/a/huodongjianjie/20150204/192.htm/中国皮肤健康工程.

[3]林绵.面部皮肤评测系统的设计与实现[D].华南理工大学，2016.

[4]http：//www.chinanews.com/life/2011/05-15/3041500.shtml/中国新闻网

[5]许舒斐.皮肤图像的纹理特征分析与老化评价[D].福建师范大学，2011.

作者简介：豆晓强，1982年12月，男，汉族，籍贯河南，工学硕士，研究方向为边缘智能，物联网，深度学习。