基于动力学的张拉整体柔性臂数字孪生系统

王智文，杨浩，李飞，彭海军; Wang Zhiwen; Yang Hao; Li Fei; Peng Haijun

引 en

基于动力学的张拉整体柔性臂数字孪生系统^*

王智文
机构：
大连理工大学工程力学系,工业装备结构分析优化与CAE软件全国重点实验室,大连 116024
×
，杨浩
机构：
大连理工大学工程力学系,工业装备结构分析优化与CAE软件全国重点实验室,大连 116024
×
，李飞
机构：
大连理工大学工程力学系,工业装备结构分析优化与CAE软件全国重点实验室,大连 116024
×
，彭海军
机构：
大连理工大学工程力学系,工业装备结构分析优化与CAE软件全国重点实验室,大连 116024
×

大连理工大学工程力学系,工业装备结构分析优化与CAE软件全国重点实验室,大连 116024；

Dynamic Based Digital Twin System for Tensegrity Flexible Manipulator^*

Wang Zhiwen
Affiliation：
Dalian University of Technology, Department of Engineering Mechanics, State Key Laboratory of Structural Analysis, Optimization and CAE Software for lndustrial Equipment , Dalian 116081 , China
×
，Yang Hao
Affiliation：
Dalian University of Technology, Department of Engineering Mechanics, State Key Laboratory of Structural Analysis, Optimization and CAE Software for lndustrial Equipment , Dalian 116081 , China
×
，Li Fei
Affiliation：
Dalian University of Technology, Department of Engineering Mechanics, State Key Laboratory of Structural Analysis, Optimization and CAE Software for lndustrial Equipment , Dalian 116081 , China
×
，Peng Haijun
Affiliation：
Dalian University of Technology, Department of Engineering Mechanics, State Key Laboratory of Structural Analysis, Optimization and CAE Software for lndustrial Equipment , Dalian 116081 , China
×

Dalian University of Technology, Department of Engineering Mechanics, State Key Laboratory of Structural Analysis, Optimization and CAE Software for lndustrial Equipment , Dalian 116081 , China；

通讯作者:

彭海军,E-mail:hjpeng@dlut.edu.cn

中图分类号:TP242.3

文献标识码:A

文章编号:1672-6553-2023-21(12)-070-009

DOI:10.6052/1672-6553-2023-135

全文
评论
参考文献
出版信息

参考文献 1

刘大同,郭凯,王本宽,等.数字孪生技术综述与展望 [J].仪器仪表学报,2018,39(11):1-10.LIU D T,GUO K,WANG B K,et al.Summary and perspective survey on digital twin technology [J].Chinese Journal of Scientific Instrument,2018,39(11):1-10.(in Chinese)

查找原文

参考文献 2

XU Y,SUN Y M,LIU X L,et al.A digital-twin-assisted fault diagnosis using deep transfer learning [J].IEEE Access,2019,7:19990-19999.

查找原文

参考文献 3

孙立宁,胡海燕,李满天.连续型机器人研究综述 [J].机器人,2010,32(5):688-694.SUN L N,HU H Y,LI M T.A review on continuum robot [J].Robot,2010,32(5):688-694.(in Chinese)

查找原文

参考文献 4

LIU Z Z,CAI Z Q,PENG H J,et al.Morphology and tension perception of cable-driven continuum robots [J].IEEE/ASME Transactions on Mechatronics,2023,28(1):314-325.

查找原文

参考文献 5

YANG J Z,PENG H J,ZHOU W Y,et al.A modular approach for dynamic modeling of multisegment continuum robots [J].Mechanism and Machine Theory,2021,165:104429.

查找原文

参考文献 6

GRIEVES M,VICKERS J.Digital twin:mitigating unpredictable,undesirable emergent behavior in complex systems [M]//KAHLEN J,FLUMERFELT S,ALVES A.Transdisciplinary perspectives on complex systems:new findings and approaches.Cham,Switzerland:Springer,2017:85-113.

查找原文

参考文献 7

张辰源,陶飞.数字孪生模型评价指标体系 [J].计算机集成制造系统,2021,27(8):2171-2186.ZHANG C Y,TAO F.Evaluation index system for digital twin model [J].Computer Integrated Manufacturing Systems,2021,27(8):2171-2186.(in Chinese)

查找原文

参考文献 8

张旭辉,张超,王妙云,等.数字孪生驱动的悬臂式掘进机虚拟操控技术 [J].计算机集成制造系统,2021,27(6):1617-1628.ZHANG X H,ZHANG C,WANG M Y,et al.Digital twin-driven virtual control technology of cantilever roadheader [J].Computer Integrated Manufacturing Systems,2021,27(6):1617-1628.(in Chinese)

查找原文

参考文献 9

MAJUMDAR P K,FAISALHAIDER M,REIFSNIDER K.Multi-physics response of structural composites and framework for modeling using material geometry [C]//Proceedings of the 54th AIAA/ASME/ASCE/AHS/ASC Structures,Structural Dynamics,and Materials Conference,Boston,USA.Reston,USA:AIAA,2013.

查找原文

参考文献 10

SMARSLOK B,CULLER A,MAHADEVAN S.Error quantification and confidence assessment of aerothermal model predictions for hypersonic aircraft [C]//Proceedings of the 53rd AIAA/ASME/ASCE/AHS/ASC Structures,Structural Dynamics and Materials Conferenc,Honolulu,USA.Reston,USA:AIAA,2012.

查找原文

参考文献 11

NATIVI S,MAZZETTI P,CRAGLIA M.Digital ecosystems for developing digital twins of the earth:the destination earth case [J].Remote Sensing,2021,13(11):2119.

查找原文

参考文献 12

WIEMANN T,IGELBRINK F,PUTZ S,et al.Compressing ROS sensor and geometry messages with Draco [C]//2019 IEEE International Symposium on Safety,Security,and Rescue Robotics(SSRR),Würzburg,Germany.[S.l.]:IEEE,2019:243-248.

查找原文

参考文献 13

钱江.基于数字孪生的工业机器人虚拟示教技术研究与教学实训系统开发 [D].杭州:浙江大学,2022.QIAN J.Research on virtual teaching technology and development of teaching and training system of industrial robots based on digital twin [D].Hangzhou:Zhejiang University,2022.(in Chinese)

查找原文

目录contents

摘要 Abstract
关键词 Keywords
1 张拉整体柔性臂数字孪生技术框架
2 张拉整体柔性臂动力学建模与控制
3 数字孪生模型构建
3.1 实验室孪生模型
3.2 轻量化处理
3.3 碰撞检测模型
4 数据驱动与协同控制
4.1 客户端服务器模型
4.2 数据传输处理过程
5 基于数字孪生平台的动力学控制实验
6 结论
参考文献

摘要

连续型机器人因其具有柔顺大变形、灵巧运动等特点,已成为未来提升机器人安全性和交互性的发展趋势,而数字孪生是实现机器人-环境-人之间共融共存的重要技术保障.本文以张拉整体连续型柔性臂为研究对象,结合数字孪生和虚拟仿真等技术,让张拉整体柔性臂在虚拟空间和实际物理空间中得以深度融合.搭建数据通讯架构实现数据实时传输和驱动,以提升柔性臂与人的协同工作效率,并可在复杂的环境中通过碰撞检测反馈实现动态避障.进一步,开发了一款基于动力学的张拉整体柔性臂数字孪生系统,并通过虚实双向操控验证了所建系统的有效性,为机器人远程智能监测与控制提供了参考.

Abstract

Continuum robots, due to their characteristics of flexible and large deformations, as well as dexterous mobility, have become a development trend for enhancing safety and interactivity of robots in the future. Digital twin is an important technical support to achieve coexistence and integration among robots, environments and humans. This article focuses on the research of tensegrity flexible manipulator and combines technologies such as digital twin and virtual simulation to enable deep integration of the tensegrity manipulator in virtual and physical spaces. A data communication architecture is established to achieve real-time data transmission, thereby enhancing the collaborative efficiency between the flexible manipulator and humans. Moreover, dynamic obstacle avoidance in complex environments is considered through collision detection feedback. Furthermore, a tensegrity flexible manipulator digital twin system based on dynamics is developed, and the effectiveness of the constructed system is verified by the experiments on bidirectional control of the tensegrity manipulator between virtual and physical domains. This research provides a reference for remote intelligent monitoring and control of other robots.

关键词

张拉整体；柔性臂；数字孪生；数据驱动；远程监控

Keywords

tensegrity ； flexible manipulator ； digital twin ； data driven ； remote monitoring

引言
随着工业技术和新一代信息技术的快速发展，机器人的智能化水平日益提高，其可以通过与其他设备和系统的连接，实现更高级的协同工作和自动化生产.然而，与此同时，由于机器人复杂度的提高，任何一个部件出现故障都可能会发生连锁反应导致整个设备失效.因此，对机器人的智能检测、状态预测和健康管理逐渐成为解决上述问题的重要手段之一.其中，在线状态监测、异常检测、故障诊断和寿命预估等技术是当前研究的热点方向和领域^[1].目前，故障检测与健康管理系统虽然可以通过机器学习、大数据分析和建模等来提高设备的可靠性和效率，但是由于数据量巨大，数据来源复杂，实时状态评估与预测仍然存在一些问题，例如延迟较大、精度较低、计算资源消耗较高等，需要进一步优化解决方案以满足需求^[2].
在现实环境中，机器人与操作员协同工作可以提高工作效率、降低劳动强度、减少人为错误、提高生产质量、提升生产灵活性和降低生产成本.连续型机器人作为一种仿生机器人，由多段连续关节组成，其外形类似于章鱼触角、象鼻子、章鱼触手以及哺乳动物舌头等生物器官，呈现出柔性的“无脊椎”结构.这种灵感设计使得连续型机器人外形一般为圆柱形，不带任何刚性关节和连杆，可以由多段串联而成，并且能够实现上下左右多个方向的弯曲运动以及长度方向的伸缩运动^[3].连续型机器人可以穿越受限狭小空间，在复杂环境与不规则障碍物等特殊情况下操纵物体.刘忠振等^[4]研究了绳驱连续型机器人，其无需传感器、通过驱动绳索的长度/速度计算形态、张力和驱动状态的新感知方法.杨今朝等^[5]提出了一种绳驱多段连续体机器人的模块化建模方法.首先建立了微分代数方程描述的动力学模型，然后通过系数矩阵解耦进行模块化建模，最后通过实验证明了所建模型的有效性.事实上，基于动力学模型，通过构建连续型机器人的数字孪生映射，是实现连续型机器人实时监测与人机交互的新途径.
数字孪生技术可以在数字化空间当中，通过对显示环境测量、仿真与数据分析，建立与物理实体一对一的现实映射模型.数字孪生模型为跨层级、跨尺度的现实世界与虚拟世界建立起了沟通的桥梁.在2003年前后，美国密歇根大学的Grieves教授在其产品全生命周期管理课程中首次提出数字孪生（Digital Twin，DT）的概念^[6].张辰源和陶飞^[7]针对数字孪生模型缺乏系统性的评价理论以及难以量化其性能价值的问题，从有效性、高效性、直观性、智能性等多个方面建立起一套评价准则.张旭辉等^[8]基于数字孪生和虚拟现实技术的煤矿井下悬臂式掘进机远程监控技术，实现了设备远程虚拟操控技术路线，为煤矿井下设备远程监控提供了新思路.Majundar等^[9]在多物理模型的基础上研究了协同材料的行为，作为建立DT模型的基础.Smarsloke^[10]等提出了一个误差量化和信心评估框架，包括用于测量DT模型保真度的TOF度量.
本文以张拉整体柔性臂为研究对象，提出张拉整体连续型柔性臂的设计理念与结构优势，并使用位置坐标有限元方法建立张拉整体柔性臂的动力学方程.通过结合工程图纸与实际测量数据，利用虚拟引擎，运用数字孪生五维模型研究了一种基于数字孪生的柔性臂建模过程，搭建了与现实环境1:1的三维虚拟实验室场景并探究其运动控制时的监测与控制方法.结合虚拟现实（VR）技术，深度挖掘柔性臂受控运动信息和场景交互信息，利用多种传感器和多维度交互能力，基于客户端服务器模型，提出了多源异构的数据管理方案，将物理世界信息同步呈现于可视化的虚拟世界中，并将关键信息保存至数据库中以备后续检查使用，实现了虚实同步、碰撞检测、轨迹预设、人机协作等功能.
1 张拉整体柔性臂数字孪生技术框架
数字孪生的生态系统由基础支撑层、数据互动层、模型构建仿真分析层、共性应用层等核心模块组成，其对应从设备、数据到各行业应用的全生命周期.基础支撑层是由生活中某具体设备组成，其作为物联网的终端，主要是一些芯片、传感器等设备，用于数据的采集以及向网络端发送.数据互动层主要用于数据采集、实时传输和数据处理等方面.仿真分析层包括物体建模、数据仿真和控制，主要作用是将物理规律和机理融入数字化模型中.它不仅建立物理对象的数字化模型，还根据当前状态使用物理学规律和机理等限制来计算、分析和预测物理对象的未来状态.模型构建层为用户提供数据获取和数字化模型的服务，其涵盖测绘扫描、几何建模、系统建模、流程建模、组织建模等技术.共性应用层包括四个方面：描述、诊断、预测和决策^[11].
本文基于张拉整体柔性臂数字孪生平台主要由物理空间、虚拟空间以及数据处理模块三部分组成.如图1，物理空间中利用运动捕获系统、力学传感器等对柔性臂状态和外界场景信息进行动态感知，将数据实时传输给数据处理模块.数据处理模块对庞大的多源异构数据进行整合处理，包括实时数据、生产数据、设备数据以及模拟数据等对控制决策程序进行反馈，并将关键信息存储至数据库中以备后续使用.虚拟空间中对数据处理模块传输的数据进行显示，在虚拟引擎中进行多维建模、三维可视化、模拟仿真、实时渲染、图形交互等技术开发，将模型信息实时展现在PC/VR端，同时可以通过对虚拟平台交互模块发送控制指令，实现对柔性臂从虚拟端至物理端的操控.
图1 张拉整体柔性臂数字孪生系统框架
Fig.1 Digital twin system framework of tensegrity flexible manipulator
2 张拉整体柔性臂动力学建模与控制
本实验所用的是一种仿人体脊柱的张拉整体柔性臂，它由基座、单胞、弹簧、销柱和高强度的大马力尼龙绳组装而成.基本单胞是由光敏树脂3D打印制成的，圆形单胞上均匀布置了圆环，并设计了小孔供绳索穿过，圆环内测和圆锥顶部还设计了方形槽以安装拉簧.所有开孔和槽边缘都做了倒角光滑处理，以减小摩擦与应力集中现象.相邻两个圆锥形单胞之间通过三个弹簧连接，等效形成了一个球心位置可变的球关节，每个单节或多节的张拉整体柔性臂由三根或多根垂直的大马力尼龙绳穿过节点组装而成.
假设在全局坐标系O-XYZ中有一根杆件单元，该杆单元的两端节点分别为（R_k）^T和（R_k₊₁）^T.结点的坐标分别为x_k，y_k，z_k和x_k₊₁，y_k₊₁，z_k₊₁.杆单元的广义坐标可表示为：

(1)

定义杆件单元的轴向矢径为 $\vec{N_{k} N_{k + 1}}$ 为l_r，长度为l_r，方向向量为 ${\hat{l}}_{r}$ ，分别表示为

\begin{matrix} l_{r} = R_{k} - R_{k + 1} \\ = {[x_{k} - x_{k + 1}, y_{k} - y_{k + 1}, z_{k} - z_{k + 1}]}^{T} \end{matrix}

(2)

\begin{matrix} l_{r} = \sqrt{l_{l}^{T} l_{r}} \\ = \sqrt{{(x_{k} - x_{k + 1})}^{2} + {(y_{k} - y_{k + 1})}^{2} + {(z_{k} - z_{k + 1})}^{2}} \end{matrix}

(3)

{\hat{l}}_{r} = l_{r} / l_{r}

(4)

通过引入自然坐标ξ∈[0，1]，杆单元上任意一点坐标可表示为：

R_{ξ} = ξ R_{k} + (1 - ξ) R_{k + 1} = C_{ξ} q_{r}

(5)

上述表达式中C_ξ=[1 1-ξ] $\otimes$ I₃，其中“ $\otimes$ ”表示克罗内尔积，杆件单元的弹性力可以表示为：

f_{r e} = E_{r} A_{r} ξ_{r} = E_{r} A_{r} \frac{l_{r} - l_{r o}}{l_{r o}}

(6)

其中E_r为杆件单元的弹性模量，A_r为杆件的截面积，ξ_r为应变，杆件单元在无应力下的初始长度为l_r₀.在柔性臂动力学建模中，杆件单元的内力向量和阻尼阵可以表示成：

f_{r} = E_{r} A_{r} \frac{l_{r} - l_{r o}}{l_{r o}} + c_{r} {\dot{l}}_{r}

(7)

(8)

图2 杆单元和圆环单元结构示意图
Fig.2 Structural diagram of rod and torus elements
单元的线密度定义为ρ=m_r/l_r，式中m_r为单元质量，单元动能为：

\begin{matrix} E_{r} = \int_{0}^{l_{r}} \frac{1}{2} ρ_{r} {\dot{R}}_{ξ}^{T} {\dot{R}}_{ξ} d l \\ = \int_{0}^{1} \frac{m_{r}}{2} {\dot{R}}_{ξ}^{T} {\dot{R}}_{ξ} d ξ = \frac{1}{2} {\dot{q}}_{r}^{T} m_{r} (\int_{0}^{1} C_{ξ}^{T} C_{ξ} d ξ) {\dot{q}}_{r} \end{matrix}

(9)

单元质量阵为：

(10)

类似的，可以得到连续型绳索的单元阻尼阵和质量阵：

\frac{\partial f_{e}}{\partial q_{c}} = - c_{c} S S^{T}

(11)

\begin{matrix} M_{c} = ⋃_{k - 1}^{n} M_{c}^{(k)} = \\ [\begin{matrix} 2 M_{1} & M_{1} \\ M_{1} & 2 M_{1} + 2 M_{2} & M_{2} \\ M_{2} & \dots & \dots \\ \dots & 2 M_{n - 1} + M_{n} & M_{n} \\ M_{n} & 2 M_{n} \end{matrix}] \end{matrix}

(12)

上式中 $M_{k} = \frac{m_{c} l_{c}^{（ k ）} I_{3}}{6 l_{c}}$ .最后对于圆环单元，设圆环半径为r，线密度为ρ，以圆环内正三角形的顶点位置为单元广义坐标:

(13)

假设圆环上任意一点N_θ与 $\vec{o^{'} N_{θ}}$ 夹角为θ，其中 $R_{θ} = \vec{o N_{θ}} ， R_{θ}^{'} = \vec{o o^{'}} ， n_{i} = \vec{o^{'} N_{i}} （ i = 1，2 ， 3 ）$ ，则

\begin{matrix} R_{θ} = R_{o}^{'} + \vec{o^{'} N_{θ}} = R_{o}^{'} + \\ \frac{2}{3} [c o s (θ) \cdot n_{1} + c o s (θ + \frac{2 π}{3}) \cdot n_{2} + c o s (θ + \frac{4 π}{3}) \cdot n_{3}] \end{matrix}

(14)

其中，
$n_{i} = R_{i} - R_{o^{i}}, R_{o}^{'} = \frac{1}{3} (R_{1} + R_{2} + R_{3})$
当圆环面积足够小时其自身的转动效应可以被忽略，此时圆环的动能可以被表示为：

\begin{matrix} E_{s} = \int_{0}^{2 π} 0.5 ρ r {\dot{R}}_{θ}^{T} {\dot{R}}_{θ} d θ \\ = 0.5 {\dot{q}}_{s}^{T} (\int_{0}^{2 π} ρ r C_{θ}^{T} C_{θ} d θ) {\dot{q}}_{s} \end{matrix}

(15)

式中 $C_{θ} = \frac{\partial R_{θ}}{\partial q_{s}}$ .可以得出圆环的广义质量阵为：

M_{s} = \int_{0}^{2 π} 0.5 ρ r C_{θ}^{T} C_{θ} d θ = \frac{2 π}{3} ρ r I_{s}

(16)

经过推导得到了三类单元动力学模型，现在考虑系统中的连续型绳索约束，系统的广义Lagrangian函数为：

L = T - V - Φ^{T} λ

(17)

将上式带入到第二类拉格朗日方程，即：

\frac{d}{d t} [\frac{\partial L}{\partial \dot{q}}] - \frac{\partial L}{\partial q} = 0

(18)

可以推导出张拉整体柔性臂系统的动力学方程为：

\begin{matrix} M q \ddot{q} + f_{i} (q, \dot{q}) + Φ_{q}^{T} λ - f_{e} = 0 \\ Φ (q, t) = 0 \end{matrix}

(19)

3 数字孪生模型构建
3.1 实验室孪生模型
通过建立孪生模型，可以实现对物理世界的复现，逼真的建模技术将增强用户对数字化实验室的视觉体验.通过不断改进建模技术，可以为数字孪生系统提供更加强大的基础和更完善的规则模型支持，包括对模型拓扑、面数、材质、动画效果等方面的优化，从而使得虚拟模型系统更加流畅、稳定、易用，通过定期的保存和备份，可以保证建模数据的安全性和稳定性，以便后续进一步的优化和改进.因此关于建模，主要有以下几个方面要求：
1.组织层次关系：数字化实验室是包含大量三维模型的虚拟环境，其中一些需要手动建模以反应实验室的实际状态，通过建立项目级别的虚拟环境，对每个项目文件进行不同程度隔离；建立资源结构组织层次，确定各模型相互之间的关系，例如平行关系、父子依赖关系等.
2.真实感与效率的平衡：由于三维模型数目众多且要求材质渲染，需要高性能的显卡GPU，同时实现实时数据驱动需要大量的数据传输和计算操作，需要高性能的CPU.此外，在建模过程中，需要平和模型渲染效果和设备性能的需求，可以通过材质选择、渲染内存优化和脚本效率提升来达到虚拟场景真实感和效率的平衡.
3.交互性：本文所建立的数字化实验室模型可以与用户进行反馈，用户可以通过操作与模型产生互动.在数字孪生系统中，用户可以直接对虚拟模型模块进行操作和修改，通过虚拟模型，用户可以了解实验室设备运行情况以及柔性臂的运动状态，同时可以进行数据分析和挖掘.
4.物理特性：给虚拟物体添加物理特性是为了在计算机图形学中模拟真实世界里物体的行为，以及遵从物理规律运动，使得虚拟场景更加真实可靠.具有物理特性的虚拟物体可以受到外力作用，发生弹跳、拉伸、碰撞和变形等行为，提高用户的沉浸感和参与度.
图3（a）伺服电机三维模型（b）柔性臂单胞三维模型
Fig.3 (a) 3D model of servo motor (b) 3D model of the flexible manipulator cell
图4 多视角张拉整体柔性臂模型及层级关系
Fig.4 Multi-perspective tensegrity manipulator model and hierarchical relationships
为了保证数字孪生系统中设备模型与实际实验室设备高度一致，基于生产设备的实际情况，搭建1:1真实还原的3D可视化模型.如图3所示为伺服电机和柔性臂单胞设备模型，三维模型从几何尺寸、材质属性、颜色、形状等方面尽量还原物理实体，同时也真实反映设备实体的装配关系、原点、从属关系等，使其具模型结构上的“孪生”特性.根据不同模型属性，可以将其分为静态模型和动态模型：静态模型是指数字孪生平台运行时不会发生变化的模型，包括伺服电机，实验台、运动捕获摄像机等；动态模型则包括张拉整体柔性臂、VR场景下Avatar控制器、手柄等，这些模型在平台运行时会发生动态变化，需要相应的数据驱动以及脚本控制.图4给出了3dsMax中建模装配的张拉整体柔性臂前、顶、侧、三维视图及装配层级关系.
3.2 轻量化处理
模型轻量化是指在保证模型固有特征的情况下，通过减少模型的特征点、线、面以及不可见部分等来进行模型的压缩处理，以提高模型在系统中的使用效率，例如去除不必要的细节、简化模型的几何形状以及减少模型面数等方式.
Draco最初由Google发布于2017年，是一个用于压缩和解压缩3D几何网格和点云的库，旨在提高3D图形的存储和传输效率^[12].Draco压缩率较高，压缩后的模型大小只有原始模型大小的几分之一，且在解压缩后也能保持较高的精度.Draco支持压缩点、连接信息、纹理坐标、颜色信息、法线及其他通用属性等，且其算法同时支持无损和有损两种压缩模式，还可以进行量化操作.表1给出了模型压缩前后大小变化，处理后模型相比原模型有明显缩小，减小了虚拟引擎渲染压力.
表1 模型压缩前后大小比较
Table1 Model size comparison before and after compression
3.3 碰撞检测模型
在Unity3D中，可以使用五种基本形状的碰撞器来进行物体间的碰撞检测，包括盒形碰撞器、类胶囊碰撞器、车轮碰撞器以及网格碰撞器等.由于张拉整体机械臂组件不符合前述规则碰撞器，需要为其添加网格碰撞器组件与刚体组件，在刚体组件中开启刚体动力学属性，表示该物体不会收到物理引擎影响，而是通过数据驱动其运动.
在虚拟场景中，可以使用两种方法实现碰撞检测：射线检测或者刚体碰撞.射线检测是通过发射射线来判断是否与碰撞体发生碰撞，如果满足条件则触发事件，在VR环境中手柄通常采用此方式与远距离物体交互.刚体碰撞则是在刚体上添加各种碰撞组件，通过碰撞检测机制触发相应回调函数来分别检测开始碰撞、结束碰撞与逗留碰撞.如图5所示，当碰撞发生时，通过弹窗提示、控制台打印输出以及碰撞点记录等措施提醒用户，帮助用户更好地控制张拉整体柔性臂运动.
图5 碰撞次数及位置记录
Fig.5 Record of collision times and positions
4 数据驱动与协同控制
4.1 客户端服务器模型
要实现通过物理场景数据来驱动数字化实验室设备，首先需要对实验室中的运行参数进行分析，然后分别将这些状态参数与数字孪生虚拟模型进行属性匹配.在实际运行过程中，还需要收集工作状态信息和预警信息.工作状态信息主要包括模型驱动、工作日志和设备交互信息等，预警信息则包括轨迹碰撞信息，角度异常、承载过大等提示信息.如图6所示，数据驱动整体架构主要由基础层、技术层、应用层组成.应用层为用户可视化以及进行操作交互的客户端软件，它可实时接受技术层提供的反馈数据并将操作信息传达给技术层；技术层主要由虚拟引擎及所编写的逻辑脚本构成，其以面向对象的方式附在动态物体组件上，用户在应用层发送的操作指令经过逻辑处理向基础层获取数据；基础层包括数字化实验室后台服务器、动作捕捉系统和数据库，服务器接受并处理上层的请求，运动捕获系统直接获取原生数据，数据库则用来存储关键工作状态信息.
张拉整体柔性臂的虚拟孪生体和物理实体之间的信息传递是实现同步和协调的关键，为了解决路径规划、碰撞检测等复杂问题，机器人通常采用三种网络通讯方式：TCP通讯、UDP通讯和CAN通讯^[13].为了实现张拉整体柔性臂的数字孪生平台虚实同步功能，引入了TCP/IP协议并利用协议的网络编程接口Socket来传输张拉整体柔性臂的运动状态等关键数据.通过Socket协议，计算机的不同进程之间可以进行通信，支持在分布式网络中通信端点之间的信息交互.由于本系统对数据传输的可靠性有较高的要求，因此我们选择使用流式Socket作为通信方式，其具有面向连接、有序、无差错、可靠性高、可移植性好等特点，能满足数字孪生平台的要求.
图6 数据驱动的整体架构图
Fig.6 The data-driven architecture diagram
4.2 数据传输处理过程
由于运动捕获系统OptiTrack采集到的坐标点是根据标定物体计算出的三维坐标点，而虚拟引擎中描述模型一般为位置、旋转角度、缩放比例这三要素，其难以直接用于驱动动态物体，故需要将原始数据处理为三要素可识别的数据.
位置属性为模型在空间下的三维坐标，其可以根据模型上识别的坐标点如下进行计算：

\{\begin{matrix} c_{x} = (\frac{a_{1 x} + a_{2 x} + a_{3 x}}{3} + a_{x}) / 2 \\ c_{y} = (\frac{a_{1 y} + a_{2 y} + a_{3 y}}{3} + a_{y}) / 2 \\ c_{z} = (\frac{a_{1 z} + a_{2 z} + a_{3 z}}{3} + a_{z}) / 2 \end{matrix}

(20)

上式中c_x，c_y，c_z为孪生模型中心点，a_n为坐标点.旋转属性有多种表示方法，由于欧拉角有万向节死锁问题，选择四元数来表示旋转：

q = w + x_{i} + y_{i} + z_{k}

(21)

其中w，x，y，z 是实数，i，j，k 是虚数单位，满足以下关系：

i^{2} = j^{2} = k^{2} = - 1

(22)

由于四元数难以直接写出，首先通过坐标计算可以得到方向向量，然后通过罗德里格斯公式将方向向量计算旋转矩阵:

\begin{matrix} {\vec{v}}^{'} = c o s (θ) \vec{v} + [1 - c o s (θ)] {\vec{v}}_{∥} + \\ s i n (θ) (\hat{n} \times \vec{v}) \end{matrix}

(23)

其中， ${\vec{v}}^{'}$ 为新得到的向量， $\vec{v}$ 是原向量， ${\vec{v}}_{∥}$ 代表投影部分， $\hat{n}$ 为旋转轴.然后通过旋转矩阵r_ij计算四元数{w，x，y，z}，其Hamilton表达如下：

\{\begin{matrix} w = \frac{1}{2} \sqrt{1 + r_{11} + r_{22} + r_{33}} \\ x = \frac{r_{32} - r_{23}}{4 s} \\ y = \frac{r_{13} - r_{31}}{4 s} \\ z = \frac{r_{21} - r_{12}}{4 s} \end{matrix}

(24)

图7 数字孪生系统功能示意图
Fig.7 Functional diagram of the digital twin system
在确定好通讯数据基本类型后，将真实张拉整体柔性臂控制台作为通信的服务器，将孪生平台作为客户端，当真实柔性臂发生运动时，通过将产生的数据按格式进行封装，孪生平台获取到柔性臂的关节数据并驱动虚拟柔性臂同步运动.对于每一帧TCP数据包，作以下格式定义
$\begin{matrix} < t i m e - s t a m p > {[C : D A T A] \dots [C : D A T A]} \dots \\ {[C : D A T A] \dots [C : D A T A]} \end{matrix}$
其中＜＞内为时间戳，记录该次运动从开始到此次数据包传输时过了多久，以毫秒为单位；{}内为驱动某单一物体的全部数据，其内由多个[]组成，每个[]内由多个特定数据类型决定，C为通用数据格式，具体如下表2所示.
表2 数据格式类型
Table2 Data format type
5 基于数字孪生平台的动力学控制实验
打开数字孪生平台之后，首先出现的是注册登录界面（如图8），需要用户输入相应的用户名和密码进行后续操作，如果连续输入三次则界面会被锁定，直到30秒后才可以才能从新输入.由于用户名密码所占数据量较小，在脚本中使用PlayerPrefs静态类来使数据持久化存储相关信息.
图8 数字孪生平台注册界面
Fig.8 Digital twin platform registration interface
以大连理工大学力学自主研发的工程与科学计算集成化软件平台SiPESC为数字孪生平台的可视化为客户端、以Matlab控制台为服务器建立通讯连接后，可以进行远程数据传输.当通过伺服电机驱动物理柔性臂运动时，解算后的数据经过数据处理模块发送至客户端驱动虚拟柔性臂实时运动.图9演示了在虚拟孪生平台操控真实柔性臂的场景.
数字孪生与动力学控制之间的关系涉及到物理空间和孪生空间之间的相互映射，这种映射对应了底层的动力学和控制算法，其分别涉及以实控虚的正向过程和以虚控实的逆向过程.具体地，首先在SiPESC软件绘图板上绘制柔性臂末端点轨迹（黄线所示），当鼠标/绘图笔从屏幕上终止点击后，客户端保存的二维坐标数据点将被发送至服务器端以供计算.此处坐标点表示方式为左上角（0，0）到右下角（1，1）.控制台服务器收到数据后进行验证是否有解，如果有，则将计算后的驱动数据发送回客户端驱动虚拟柔性臂运动，并同时绘制末端点轨迹（如红线所示）进行比较.此外，当模型运动时，在SiPESC端同时可根据需求显示物体的速度、位移等曲线.
图9 张拉整体柔性臂在虚实空间中的交互
Fig.9 Interactions between virtual space and real space of the tensegrity flexible manipulator
在柔性臂运动过程中，常常需要知道计算出的轨迹是否可能会有周围障碍物发生碰撞，为了防止因碰撞导致的物理柔性臂受损，提高工业柔性臂工作的安全性，可以提前在虚拟平台中进行轨迹预设及实时监测机械臂系统的状态，并检测潜在的故障.通过绘制出三维图形和末端轨迹对比出虚拟柔性臂运动的准确性.当虚拟柔性臂的碰撞器与孪生平台中的障碍物发生碰撞时，会通过弹窗的方式进行警告用户，最后将碰撞点坐标在后台数据库中记录以便多次查阅修改.实验平台中配备了力传感器（AT8301，AUTODA），通过UDP通讯可以反馈绳索的驱动力信息，可以直接通过软件界面的相应图形位置对设定信息进行观测与监控.这些反馈信息还可以通过与动捕系统的结点位置捕捉相结合，从而建立起安全的柔性机械臂闭环控制任务.在VR场景中（如图11），用户可以身临其境的在数字孪生平台中进行体验，通过手柄射线或碰撞器进行移动障碍物位置，并近距离观察柔性臂运动轨迹.
图10 真实设备与孪生设备对比图
Fig.10 Comparsion between real device and virtual device
图11 VR场景下的数字孪生效果展示
Fig.11 The digital twin in VR Scene
6 结论
本文建立了一套基于动力学的张拉整体连续型柔性臂数字孪生系统.首先，采用位置坐标有限元方法建立了以微分代数方程描述的张拉整体柔性臂动力学模型.然后，基于该动力学模型，建立了数字化实验室场景的孪生模型，从而在数字孪生五维模型的指导下，基于3dsMax和虚拟引擎平台，可对实验平台进行全生命周期的远程监控.此外，采用流程化的方法构建了实验室场景模型和设备模型，并利用Google Draco库对模型进行轻量化处理，提高了平台的运行效率.在虚拟现实开发中，采用网格碰撞器对柔性臂和相关障碍物进行碰撞检测，以避免物理柔性臂损坏并进行危险预警.最终形成了物理柔性臂与虚拟孪生柔性臂之间的状态数据映射关系，实现张拉整体柔性臂在孪生虚拟客户端与真实物理端之间的交互控制.最后，以张拉整体柔性臂在虚实空间中的交互案例验证了所建立的连续型柔性臂数字孪生系统的实时状态监控能力与良好的人机交互性.
参考文献
- [1] 刘大同,郭凯,王本宽,等.数字孪生技术综述与展望 [J].仪器仪表学报,2018,39(11):1-10.LIU D T,GUO K,WANG B K,et al.Summary and perspective survey on digital twin technology [J].Chinese Journal of Scientific Instrument,2018,39(11):1-10.(in Chinese)
- [2] XU Y,SUN Y M,LIU X L,et al.A digital-twin-assisted fault diagnosis using deep transfer learning [J].IEEE Access,2019,7:19990-19999.
- [3] 孙立宁,胡海燕,李满天.连续型机器人研究综述 [J].机器人,2010,32(5):688-694.SUN L N,HU H Y,LI M T.A review on continuum robot [J].Robot,2010,32(5):688-694.(in Chinese)
- [4] LIU Z Z,CAI Z Q,PENG H J,et al.Morphology and tension perception of cable-driven continuum robots [J].IEEE/ASME Transactions on Mechatronics,2023,28(1):314-325.
- [5] YANG J Z,PENG H J,ZHOU W Y,et al.A modular approach for dynamic modeling of multisegment continuum robots [J].Mechanism and Machine Theory,2021,165:104429.
- [6] GRIEVES M,VICKERS J.Digital twin:mitigating unpredictable,undesirable emergent behavior in complex systems [M]//KAHLEN J,FLUMERFELT S,ALVES A.Transdisciplinary perspectives on complex systems:new findings and approaches.Cham,Switzerland:Springer,2017:85-113.
- [7] 张辰源,陶飞.数字孪生模型评价指标体系 [J].计算机集成制造系统,2021,27(8):2171-2186.ZHANG C Y,TAO F.Evaluation index system for digital twin model [J].Computer Integrated Manufacturing Systems,2021,27(8):2171-2186.(in Chinese)
- [8] 张旭辉,张超,王妙云,等.数字孪生驱动的悬臂式掘进机虚拟操控技术 [J].计算机集成制造系统,2021,27(6):1617-1628.ZHANG X H,ZHANG C,WANG M Y,et al.Digital twin-driven virtual control technology of cantilever roadheader [J].Computer Integrated Manufacturing Systems,2021,27(6):1617-1628.(in Chinese)
- [9] MAJUMDAR P K,FAISALHAIDER M,REIFSNIDER K.Multi-physics response of structural composites and framework for modeling using material geometry [C]//Proceedings of the 54th AIAA/ASME/ASCE/AHS/ASC Structures,Structural Dynamics,and Materials Conference,Boston,USA.Reston,USA:AIAA,2013.
- [10] SMARSLOK B,CULLER A,MAHADEVAN S.Error quantification and confidence assessment of aerothermal model predictions for hypersonic aircraft [C]//Proceedings of the 53rd AIAA/ASME/ASCE/AHS/ASC Structures,Structural Dynamics and Materials Conferenc,Honolulu,USA.Reston,USA:AIAA,2012.
- [11] NATIVI S,MAZZETTI P,CRAGLIA M.Digital ecosystems for developing digital twins of the earth:the destination earth case [J].Remote Sensing,2021,13(11):2119.
- [12] WIEMANN T,IGELBRINK F,PUTZ S,et al.Compressing ROS sensor and geometry messages with Draco [C]//2019 IEEE International Symposium on Safety,Security,and Rescue Robotics(SSRR),Würzburg,Germany.[S.l.]:IEEE,2019:243-248.
- [13] 钱江.基于数字孪生的工业机器人虚拟示教技术研究与教学实训系统开发 [D].杭州:浙江大学,2022.QIAN J.Research on virtual teaching technology and development of teaching and training system of industrial robots based on digital twin [D].Hangzhou:Zhejiang University,2022.(in Chinese)

基本信息

中图分类号: TP242.3
文献标识码: A
DOI: 10.6052/1672-6553-2023-135
文章编号: 1672-6553-2023-21(12)-070-009

基金信息

国家自然科学基金资助项目(U2241263)；
中国博士后科学基金资助项目(2022TQ0052,2022M710586)；
National Natural Science Foundation of China(U2241263)；
the Project funded by China Postdoctoral Science Foundation (2022TQ0052, 2022M710586)；

引用信息

稿件历史

收稿日期: 2022-07-06

参考文献

[1] 刘大同,郭凯,王本宽,等.数字孪生技术综述与展望 [J].仪器仪表学报,2018,39(11):1-10.LIU D T,GUO K,WANG B K,et al.Summary and perspective survey on digital twin technology [J].Chinese Journal of Scientific Instrument,2018,39(11):1-10.(in Chinese)
[2] XU Y,SUN Y M,LIU X L,et al.A digital-twin-assisted fault diagnosis using deep transfer learning [J].IEEE Access,2019,7:19990-19999.
[3] 孙立宁,胡海燕,李满天.连续型机器人研究综述 [J].机器人,2010,32(5):688-694.SUN L N,HU H Y,LI M T.A review on continuum robot [J].Robot,2010,32(5):688-694.(in Chinese)
[4] LIU Z Z,CAI Z Q,PENG H J,et al.Morphology and tension perception of cable-driven continuum robots [J].IEEE/ASME Transactions on Mechatronics,2023,28(1):314-325.
[5] YANG J Z,PENG H J,ZHOU W Y,et al.A modular approach for dynamic modeling of multisegment continuum robots [J].Mechanism and Machine Theory,2021,165:104429.
[6] GRIEVES M,VICKERS J.Digital twin:mitigating unpredictable,undesirable emergent behavior in complex systems [M]//KAHLEN J,FLUMERFELT S,ALVES A.Transdisciplinary perspectives on complex systems:new findings and approaches.Cham,Switzerland:Springer,2017:85-113.
[7] 张辰源,陶飞.数字孪生模型评价指标体系 [J].计算机集成制造系统,2021,27(8):2171-2186.ZHANG C Y,TAO F.Evaluation index system for digital twin model [J].Computer Integrated Manufacturing Systems,2021,27(8):2171-2186.(in Chinese)
[8] 张旭辉,张超,王妙云,等.数字孪生驱动的悬臂式掘进机虚拟操控技术 [J].计算机集成制造系统,2021,27(6):1617-1628.ZHANG X H,ZHANG C,WANG M Y,et al.Digital twin-driven virtual control technology of cantilever roadheader [J].Computer Integrated Manufacturing Systems,2021,27(6):1617-1628.(in Chinese)
[9] MAJUMDAR P K,FAISALHAIDER M,REIFSNIDER K.Multi-physics response of structural composites and framework for modeling using material geometry [C]//Proceedings of the 54th AIAA/ASME/ASCE/AHS/ASC Structures,Structural Dynamics,and Materials Conference,Boston,USA.Reston,USA:AIAA,2013.
[10] SMARSLOK B,CULLER A,MAHADEVAN S.Error quantification and confidence assessment of aerothermal model predictions for hypersonic aircraft [C]//Proceedings of the 53rd AIAA/ASME/ASCE/AHS/ASC Structures,Structural Dynamics and Materials Conferenc,Honolulu,USA.Reston,USA:AIAA,2012.
[11] NATIVI S,MAZZETTI P,CRAGLIA M.Digital ecosystems for developing digital twins of the earth:the destination earth case [J].Remote Sensing,2021,13(11):2119.
[12] WIEMANN T,IGELBRINK F,PUTZ S,et al.Compressing ROS sensor and geometry messages with Draco [C]//2019 IEEE International Symposium on Safety,Security,and Rescue Robotics(SSRR),Würzburg,Germany.[S.l.]:IEEE,2019:243-248.
[13] 钱江.基于数字孪生的工业机器人虚拟示教技术研究与教学实训系统开发 [D].杭州:浙江大学,2022.QIAN J.Research on virtual teaching technology and development of teaching and training system of industrial robots based on digital twin [D].Hangzhou:Zhejiang University,2022.(in Chinese)

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。

基于动力学的张拉整体柔性臂数字孪生系统*

Dynamic Based Digital Twin System for Tensegrity Flexible Manipulator*

摘要

Abstract

关键词

Keywords

1 张拉整体柔性臂数字孪生技术框架

2 张拉整体柔性臂动力学建模与控制

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

(11)

(12)

(13)

(14)

(15)

(16)

(17)

(18)

(19)

3 数字孪生模型构建

3.1 实验室孪生模型

3.2 轻量化处理

3.3 碰撞检测模型

4 数据驱动与协同控制

4.1 客户端服务器模型

4.2 数据传输处理过程

(20)

(21)

(22)

(23)

(24)

5 基于数字孪生平台的动力学控制实验

6 结论

参考文献

基本信息

基金信息

引用信息

稿件历史

参考文献

微信公众号二维码

手机版网站二维码

基于动力学的张拉整体柔性臂数字孪生系统^*

Dynamic Based Digital Twin System for Tensegrity Flexible Manipulator^*