真大神！利用一部手机，成功实现 ＂跨界＂ 复制粘贴 ，这位设计师把 AR 玩出

本篇文章1304字，读完约3分钟

最近，cyril diagne，一个有几个角色的斜线青年，设计了一个复制粘贴工具。只要你有一部支持ar功能的智能手机，你就可以预先安装这个AR剪切&粘贴工具，然后把你想要复制的东西拍下来，你就可以把图像复制粘贴到photoshop中。

这是视频链接:t/a6a6nl1q。

如上图所示，这个工具可以一键复制一切，所以设计师不用担心材料不足！但是，目前该工具的切割延时约为2.5秒，粘贴延时约为4秒，这一过程可以进一步加快。

人们期待的是，作者给每个人都留下了一点惊喜:另一个ai+ux原型将于下周发布！

平面设计师的福音

也许是因为设计师的背景，西里尔·迪亚涅总是有许多意想不到的想法。

例如，他曾经开发了一个脸部涂鸦工具，可以在tensorflow.js、facemesh和third . js的帮助下，使用ar在网络浏览器上涂鸦脸部

还有一个chrome扩展程序，可以给instagram的个人主页图像添加3d效果。效果生成类似于脸书的3D照片功能，所以2d照片也可以呈现多角度场景。

那么，这个工具是如何将真实照片直接复制到photoshop中的呢？

根据作者上传到github的数据，ARCUT & Paste工具是一个ar+ml原型，它可以从周围环境中复制固定的对象，并将其粘贴到图像编辑软件(photoshop)中。但是，该工具目前仅适用于photoshop软件，将来可能支持处理不同的输出。

原型作为三个独立的模块运行:移动应用、本地服务器和显著性检测以及背景去除服务。

具体使用方法如下:

首先，你需要在你的手机上预先安装这个工具；

npm安装

其次，您需要更新ip地址并指向您的本地配置；

3:常量URL = 192 . 168 . 1 . 29:8080；

最后，重要的目标检测和背景去除由外部服务(即basnet技术)执行。

curl download.pytorch/models/resnet34-333f7ec4.pth-o resnet 34-333 F7 EC 4 . pt

码头工人建造-t basnet。

docker run - rm -p 8080:8080 basnet

什么是basnet？

Basnet是一种边缘显著性检测，它聚合了多层深度特征的网络。它更注重整个图像的全局对比度，而不是局部或像素特征，因此与其他显著性检测方法相比，它可以大大减少误差。

在体系结构中，它主要分为两个模块:

图像来源:basnet:边界感知盐物体检测纸

预测模块:设计为编解码器网络，因为这种结构可以同时捕获高级全局上下文和低级细节。编码器有一个输入卷积层和由基本res块组织的六个部分。为了进一步捕获全局信息，在编码器和解码器之间增加了一个包含三个卷积层的桥接块。解码器与编码器基本对称，每一级的输入是解码器前一级的上采样和编码器相应级的输出的级联。将最后一层中精度最高的图形作为预测模块的输出。

优化模块:通过残差块优化粗糙显著图。粗糙度包括:1)模糊噪声边界；2)不均匀预测的区域概率。实际的粗略预测图包含两者。剩余优化模块最初是为边界优化而提出的。然而，由于设计的模块非常浅，因此很难获取高级信息进行优化。Rrm采用残差编解码架构，包括输入层、编码器、桥接层、解码器和输出层。编码器和解码器有四个阶段，每个阶段只有一个卷积层。

总损耗等于每个输出图形的损耗加权和。共有8个输出，7个来自预测模块，1个来自优化模块。

每层的损耗包括三个部分:bce损耗、ssim损耗和iou损耗。

这样，可以获得高置信度的显著图和清晰的边界。

然后，使用opencv sift找出手机在电脑屏幕上的对齐位置。只需要一张手机照片和截图，就可以得到精确的x，y屏幕坐标系。

这是该软件的所有使用细节和技术细节。感兴趣的童鞋可以自己输入密码试试。

需要注意的是，该设计的作者也表示目前还只是一个研究原型，但根据diagne video的回复，似乎有几家公司已经在开发类似的软件。我相信在不久的将来，你可能会在应用商店看到类似的工具。

这种设计的深远意义在于，它巧妙地颠覆了通常的增强现实范例，不是将数字图像投射到物理世界，而是将物理世界带入数字世界。

来源：零点娱乐时刊