如何使RoboDK模拟相机更逼真?

机器人的视觉很难模拟。虚拟环境通常不够真实，但RoboDK的现实主义得到了提升!

不久前，一位RoboDK用户问了我们一个问题…

“有可能同时拥有多个摄像头的视角吗?”

你可能会想，这是个简单的问题。答案也很简单:是的!你可以在RoboDK中安装多个摄像头。

但是，我们有一个重要的问题要问用户:“你想达到什么目标?”

对于任何新的机器人编程项目，在开始之前定义想要实现的目标总是很重要的。虽然我们的客户想要更多的摄像头视图，但当我们进一步深入研究时，发现他想要的是更广泛的功能……

这个功能也是许多机器人程序员感兴趣的东西——使模拟摄像机更加逼真的能力。

正如我们的客户所解释的“我对相机的光线控制特别感兴趣。如果我能够在多个相机之间使用一个共同的光源，这对我来说将是非常有用的。”

问题:机器人视觉的模拟不够真实

机器人仿真是非常强大的。它可以让你在现实世界中尝试之前解决机器人程序中的问题，节省您的时间并改进您的整个编程过程．

然而，机器人的视觉有时是一个挑战。如果你想正确地测试你的计算机视觉算法，你需要一个视觉逼真的模拟。

在此之前，RoboDK仅为其相机模拟提供了一种非常简单的照明形式。这对于视觉算法的粗略测试是很好的，但对于更苛刻的测试来说，它不够现实。

这是有原因的。

一般来说，离线编程不需要2022世界杯8强赛时间高级的表面建模或视觉效果。这样的审美特征实际上会使OLP软件变得不那么有用，正如我们之前讨论过的．

对于大多数机器人应用来说，花哨的视觉效果只会分散模拟功能的注意力。

在机器人视觉方面，这是意料之中的。

解决方案:可定制的着色器

我们需要找到一种解决方案，既能保留RoboDK在机器人编程方面的所有高性能，又能让用户在需要测试计算机视觉算法时增加视觉真实感。

解决方案?可定制的着色器!

着色器是一个非常强大的工具用于操纵3D模拟的视觉效果。它们被广泛用于制作3D游戏和动画电影。

以下是一些引入可定制着色器是一个完美解决方案的原因:

• 他们使用图形处理器着色器在计算机的图形处理器(GPU)上运行。这意味着它们不会干扰RoboDK计算机器人轨迹的过程。
• 它们重量轻，速度快RoboDK采用高性能图形引擎OpenGL。为OpenGL编写的简单着色器对图形处理时间的影响很小，并且在图形处理器上并行执行。
• 它们很容易编码用于创建OpenGL着色器的GLSL编程语言非常容易学习。有一些很棒的教程可以帮助你开始。

在最新版本的RoboDK中，我们引入了对可定制着色器的支持。

如何在RoboDK新的可定制着色器工作

在基本层面上，着色器以以下方式工作:

1. 有一个输入:例如一个像素的RGB颜色值。
2. 着色器算法在这个输入上执行:例如，将0.2的值添加到像素的绿色值上。
3. 着色器输出结果值:例如，像素现在比以前绿了0.2个单位。

着色器在GPU上执行。因此，所有的输入(例如，图像中的所有像素)都以相同的方式同时操作。这与CPU计算不同，CPU计算将在循环中单独运行每个像素。

当然，上面的例子是非常基本的——它只是增加所有像素的绿色值。当我们开始添加稍微更高级的算法时，例如那些用于计算照明的算法，着色器的真正力量就来了!

关于着色器照明如何工作的一个很好的视频解释，看看这个视频．

着色器的类型

在OpenGL中有几种类型的着色器。每一个都在图形渲染“管道”中执行不同的功能(这意味着计算显示3D模型的算法序列)。但是，对于机器人视觉仿真，您不需要了解所有这些。

有两种着色器对机器人视觉非常重要:

• 顶点着色器-这是在RoboDK的3D模型中的每个顶点(即3D点)上执行的。它首先执行，并照顾相机的视角。
• 片段着色器-这是对输出图像的每个像素执行的。它是最后执行的，是实现更逼真的照明的关键。

RoboDK中的新功能允许您加载这些着色器中的一个。您可以使用GLSL编程语言编写着色器，并使用RoboDK中的Python脚本加载它们。

您将能够通过使用相机窗口看到着色器的效果，该窗口显示模拟相机看到的图片。RoboDK的主窗口不会显示灯光效果，这意味着计算不会干扰模拟。

如何开始与RoboDK的可定制着色器

这个新功能可以通过Python API中的“Cam2D_Add”函数来访问。它有两个可以传递的新参数:

• 顶点着色器-这是一个链接到GLSL顶点着色器文件。
• 片段着色器-这是一个链接到GLSL片段着色器文件。

了解这个新功能的最佳方法是尝试包含在RoboDK最新版本中的演示。

您可以通过以下步骤访问它:

1. 2022世界杯国家队名单下载并安装最新版本的RoboDK如果您还没有(版本4.0或更高版本)
2. 打开示例项目10。一个叫做“example -10.a shader - customized - light”的。从安装RoboDK的Library目录中获取。
3. 运行Python程序相机的设置，打开两个带有着色器设置的相机窗口。
4. 运行“Weld3”程序来查看实际的模拟。
5. 你可以通过打开shader_fragment文件来编辑shader代码。和shader_vertex。在Library/Macros/Camera-Shaders目录下。

如果你需要编写OpenGL着色器的入门教程，我推荐这个教程。如果你遇到了问题，可以在RoboDK论坛！

在RoboDK中，你可以用更逼真的模拟相机实现什么?请在下面的评论中告诉我们，或者加入我们的讨论LinkedIn，推特，Facebook,Instagram或在RoboDK论坛．