图的着色题应用—真相揭秘+记者发文
深度学习最令人兴奋的应用之一是智能照片增强,例如对黑白图像进行着色、修复损坏的照片和消除模糊。
以黑白图像着色为例,通过将AI与照片着色相结合,无需使用Photoshop等图像编辑工具,即可一键完成黑白照片着色。
这究竟是如何实现的呢?下面我们就来告诉你!
一
色空间
加载图像会创建一个三维数组,其中颜色通道数据表示RGB颜色空间中的颜色,每个像素都有三个数字表示该像素的红色、绿色和蓝色值。
在图1中,原始图像位于左侧,红色、绿色和蓝色通道位于右侧。对图片进行着色时,必须根据给定的黑白图片确定每个位置像素的RGB值,颜色值范围为0到255,即存在每个256的预测题。像素。
图1
CIE1976Lab色空间是照明学会1976年推荐的统一色空间。该空间是一个三维直角坐标系,使用亮度L和色度坐标a和b来表示颜色在颜色空间中的位置。L代表颜色的亮度,该通道显示黑白图像。正值代表红色,负值代表绿色。b正值代表,负值代表蓝色。颜色。图2表示Lab色空间中的每个通道。
图2
使用Lab颜色空间对照片进行着色,将L通道输入到着色模型中,输出其余两个通道的预测,大约有65,000个选择,比RGB颜色空间少得多,因此您可以选择我们使用来自Lab色空间的数据作为照片着色模型作为训练数据。
2
生成对抗网络
GAN是生成模型的一种。
GAN网络结构包含两个模型“生成器”模型和“判别器”模型。“生成器”用于生成数据,“鉴别器”则确定数据是否真实。
在训练GAN模型时,“生成器”被认为是伪造名画的画家,而“判别器”是名画的鉴赏家。
最初,“创作者”的技术水平较低,伪造的名画很容易被“鉴定者”识别为赝品。“生成者”根据判断标准提高自我证伪能力。经过一段时间的“训练”后,“创造者”再次将伪造的杰作交给了“鉴别者”。由于“识别者”无法区分真品和真品,他们学习了更复杂的识别技术,直到能够识别赝品。名画。
接下来,“生成器”和“判别器”重复上述过程进行新的学习。
而“判别器”则在对抗的状态下互相玩耍、学习、成长,直到在一定条件下“判别器”无法确定“生成器”产生的数据的真实性。
我们使用GAN实现照片着色,模型结构如图3所示。
图3
训练使用了COCO数据集中的8000张图像,每轮训练大约需要4分钟,100轮后产生的效果如图4所示。
图4
该模型可以完成图像中一些最常见物体的基色,例如天空、树木等,但无法为稀有物体着色。同时存在一些颜色溢出和圆形色块,颜色效果不理想。
所以我们需要改变我们的策略!
三
自注意力生成对抗网络
在介绍新的解决方案之前,我们先区分两个概念着色和恢复。
着色是将照片从单色变为可信的颜色。着色是一个“开放式”题,许多项目没有单一正确的颜色。因此,着色是一个神经网络难以满足的艺术创作过程。
修复是指对丢失和丢失的照片进行更换,使它们变得完整如新。在不参考原件的情况下解决修复过程中的褪色题,与上色一样,都是一种自由的艺术创作。
综上所述,在评价着色和复原效果时,如果在观看生成的图像时,无法看出图像已经被处理过,并且能够感受到图像的愉悦感,则认为着色和复原工作已经完成。
那么新的着色策略是什么?
“生成器”采用类似于U-Net结构的U型神经网络,如图5所示。
图5
为此,“生成器”以灰度图像作为输入,提取左侧的图像特征来识别内容,并根据右侧的内容识别结果对结果进行恢复和着色。
“鉴别器”使用Critic卷积神经网络,该网络在输出层是卷积的而不是线性的。它很大但很简单。它获取图像并输出表示真实程度的分数。
新解决方案中最重要的是Self-AttentionGAN的应用,它将注意力机制置于“生成器”和“判别器”中。
使用基本GAN生成的图像的细节控制不好,主要原因是使用卷积神经网络生成的图像从根本上来说是基于局部感受野,专注于局部情感而缺乏全局或其他信息。低分辨率高速产生高分辨率点状细节。
正如您在图6中看到的,存在花朵颜色不均匀的题,其他地方也出现不正确的颜色。
图6
自注意力机制在长期依赖建模能力、计算效率和统计效率之间表现出更好的平衡。自注意力机制将所有位置的特征的加权和作为该位置的响应,其中权重或注意力向量的计算成本很低。
Self-AttentionGAN引入了卷积GAN中的Self-Attention机制,可以很好地处理长距离、多层次的依赖关系,并且在生成图像时可以很好地调整每个位置的细节和远程细节。此外,复杂的几何约束可以更准确地应用于全局图像结构。
以下是生成的一些示例
1)奥黛丽赫本
图7
2)冬天在路上骑自行车的人
图8
3)鲜花
图9
4)草地上的小狗
图10
5)江南水乡,中国
图11
部分生成的图像还是存在一些异常,比如奥黛丽赫本耳后皮肤的颜色,但整体效果非常好,并且Attention层在颜色一致性和整体质量方面的表现相当可圈可点。
除了自动着色之外,图像超分辨率、去模糊等也是GAN感兴趣的重要领域。
图像超分辨率可以通过上采样从低分辨率图像创建高分辨率图像。图像去模糊的“生成器”用于产生清晰的图像。以下是基于GAN的去模糊的一些示例
图12
图13
近日,大爱教育创始人、董事长韩晓云与大爱教育集团技术研发副总裁、人工智能研究中心主任郑铮共同主编的《计算机视觉应用与实战》出版。这是详细介绍上述技术的版本。
本书是大爱教育“人工智能应用与实战系列”教材的第一本,致力于帮助读者快速掌握计算机视觉方面的实用技能,增加高薪就业的机会。
《计算机视觉应用与实践》主要涵盖农业、医学、工业等领域的计算机视觉案例,如植物病虫害检测、眼底血管图像分割、口罩佩戴检测等。理论与实践相结合。本书使用大量图片并添加示例,帮助读者快速了解几种计算机视觉模型和算法的基本原理和核心技术。
此外,《计算机视觉应用与实战》中,理论知识和实践中的核心难点部分均以微视频的形式进行讲解,从而降低读者的学习成本,帮助读者有效理解关键要素。
《人工智能就业数据地图》报告显示,人工智能行业仍处于人才竞争蓝海,前100名热门岗位中技术性和非技术性岗位的比例为6,333,604。对于想学非人工智能专业的人来说,进入人工智能行业还是有机会和空间的。
迄今为止,戴恩教育已帮助超过100万学生成功加入国内外著名IT和互联网企业。《计算机视觉应用与实战》专业学习参考书,是初学者了解人工智能常识、高效掌握实用技能的媒介!
下单即享50%折扣,扫码领取!
一、怎么把图纸上的画扫描到电脑里上色?
完成的图纸被扫描为电子图像文件并导入绘图软件中进行着色。
最常用的绘图调色软件是Photoshop,绘图功能强大但又很专业,PS调色通常遵循以下步骤
1.打开手绘线条艺术图像并复制图层。
2.选择磁性套索工具剪切图像。
3.在其他地方创建一个新选区并复制新图层。
4.使用颜色填充工具进行填充和着色。
洗掉的是染料。染色时一般采用苏丹或苏丹IV染料,这些染料有色,如果不洗掉,就会影响脂肪染色的观察,所以无法判断脂肪是否是二次染色,所以该部分必须被洗掉.表面污渍。
苏丹染料在50%酒精中的溶解度最高。因此必须用酒精洗去浮色,酒精浓度为50%。
苏丹三号本身有颜色,接触脂肪时会变成橙色,与接触脂肪之前的颜色不同。因此,为了检查组织中的脂肪,必须去除未到达脂肪的过量苏丹III染料。避免接触脂肪液体,以免影响测试结果。
这种浮色是指额外的苏丹染料不会因与脂肪接触而变色的颜色。
苏丹III不溶于水,易溶于乙醇。
二、画画大面积上色建议用什么笔?
绘制漫画时,通常使用记号笔进行着色。
1、记号笔主要用于绘制大片黑色区域或创造特殊效果,也用于绘制细线。有时也可以用色记号笔给稿上色,这与传统的稿风格不同,比较前卫,效果就像渲染一样,而且笔触分明,让初学者画起来有一定难度。出色地。记号笔分为三种类型油基、水基和酒精基。
2、色墨水颜色非常鲜艳,使用时需要与水混合,特别适合混色和重复着色。分为快干型和防水型两种。防水色墨水一旦干燥就不会溶解。
3.粉可以直接用棒状颜料上色,也可以切成粉末。根据硬度的不同,分为软粉和硬粉两种。粉很容易脱落,因此上色后需要在其上喷洒保护胶以固定它们。延伸资料笔尖主要有以下几种G笔弹性高,线条粗细变化大,可以画出起伏的线条,一般用来画字母的主线。学生笔弹性低,线条细,粗细基本没有变化,主要用来画背景线和效果线。镝笔弹性比G笔或圆笔小,线条变化适中,常用于在织物上绘制纹理时使用。由于挂纸不易,所以也常用来画各种效果线条。圆笔由于其弹性高、线条变化大、线条很细,所以常用于细节绘制,例如表达人物的眼睛或金发的光泽。
本篇文章对图的着色题应用和一般图着色题的题进行详细解,希望对大家有所帮助。
发表评论