许多虚拟世界的设计师发现，要有效地设计出令人信服的复杂纹理或图案，是一项挑战。确实，所谓的“纹理合成”是准确的纹理设计，例如河流中的水波纹，混凝土墙或树叶图案，对于艺术家来说仍然是一项艰巨的任务。可以在游戏或虚拟世界中重新创建“现实世界”中的大量非平稳纹理，但是现有技术繁琐且耗时。
为了应对这一挑战，全球计算机科学家团队开发了一种独特的基于人工智能的技术，该技术可以训练网络以学习将小纹理扩展为大纹理。研究人员的数据驱动方法利用称为生成对抗网络(GAN)的AI技术来训练计算机，以将纹理从样本补丁扩展到与原始样本最相似的更大实例。
该论文的主要作者，深圳大学和华中科技大学的助理教授杨周表示：“我们的方法成功地处理了非平稳纹理，而没有对高层结构进行任何高级或语义描述。” “它可以应付非常具有挑战性的纹理，据我们所知，其他任何现有方法都无法处理。结果是可以高分辨率，高效且大规模生产的逼真的设计。”
基于示例的纹理合成的基本目标是生成通常尺寸大于输入大小的纹理，该纹理可以紧密捕获样本输入的视觉特征(但并不完全相同)并保持逼真的外观。非平稳纹理的示例包括具有大规模不规则结构的纹理，或在某些属性(例如颜色，局部方向和局部比例)上表现出空间差异的纹理。在论文中，研究人员在孔雀羽毛和树干波纹等复杂的示例中测试了他们的方法，这些示例在重复模式上似乎无穷无尽。
周和他的合作者，包括华中大学的朱Zhen和项柏，耶路撒冷希伯来大学的Dani Lischinski，深圳大学和特拉维夫大学的Daniel Cohen-Or和深圳大学的黄辉，将与他们合作。于8月12日至16日在不列颠哥伦比亚省温哥华举行的SIGGRAPH 2018上工作。这次年度聚会展示了在计算机图形和交互技术领域最前沿的世界领先的专业人士，学者和创造力。
他们的方法包括训练一个称为生成器的生成网络，以学习扩展从示例中裁剪的任意纹理块(即，将其空间范围扩大一倍)，从而使扩展后的结果在视觉上类似于包含适当大小的示例性块(大两倍)。使用判别网络(判别器)评估自动扩展的块与实际包含的块之间的视觉相似性。作为GAN的典型代表，鉴别器与生成器并行训练，以区分示例中的实际大块和生成器生成的大块。
周说：“令人惊讶的是，我们发现，通过使用这种概念上简单的，自我监督的对抗训练策略，训练后的网络可以在各种纹理(包括固定和高度非固定纹理)上接近完美地工作。”
该工具旨在协助纹理艺术家进行视频游戏设计，虚拟现实和动画制作。一旦针对每个给定的纹理样本进行了自我监督的对抗训练，则可以使用该框架来自动生成扩展的纹理，最大可达原始样本大小的两倍。在将来，研究人员希望他们的系统能够以无监督的方式实际提取纹理的高级信息。
此外，在将来的工作中，该团队打算在大规模纹理数据集上训练“通用”模型，并增强用户控制能力。对于纹理美术师，由于美术师倾向于为自己的设计操纵纹理，因此具有用户交互作用的受控合成将可能更加有用。