一、建设背景

 随着信息技术的不断发展，虚拟现实技术在教学中发挥了越来越重要的作用，在营造教学环境、促进教学互动、提升学生实践能力等方面，显示出巨大的优势。特别是对于实践性很强的专业教学来说，根据具体学科特点，运用相关现实虚拟技术和设备，设计科学的教材、教程和教法，可以大大提高教学的实践性效果。此时，基于虚拟现实技术的课程设计及其辅助教学系统应用，成为教学实践的一种崭新手段和模式。

 交互式教学利用虚拟现实及人机互动技术，模拟设备产品的装配、操作过程，以及产品的介绍、使用、维护等流程，为不同应用方向提供基本理论及技术支持。通过系统教学，使学生掌握产品的基本原理，促进学生进入深入思考，加深对产品的理解，熟练掌握相关应用技能。通过一系列产品教学，期望学生体会到产品的技术精髓，为以后的产品使用打下坚实基础。

 二、研究内容

 交互式教学通过构建计算机与AR眼镜结合的教学环境，引入虚拟现实技术将各类产品信息和使用维护保障过程以电子化、信息化技术进行重构，着力于提高教学培训的体验度和交互性。将产品日常的使用维护、测试等过程进行梳理，通过视频动态演示、构建虚拟场景等手段提高用户在设备使用和训练过程中技术保障的信息获取体验，缩短学习时间，提高学习效率。

 基于增强现实AR的辅助教学主要包括以下内容：

 1. 支持学生学习

 能够根据学生所在站位和操作点，在智能眼镜和电脑上通过文字、图片和语音提示各站位的操作步骤、内容、方法、标准及注意事项。

 2. 支持教师教学

 能够在学生学习功能基础上，实现教师佩戴智能眼镜实装讲解，终端大屏上显示、播放教师的第一视角、操作动作和语音，以文字、图片形式自动提示操作路线、方法、标准和注意事项，引导学生利用电脑跟随学习。

 三、平台简介

 为满足教学需求，平台在技术结构组成上自下向上分别是标准规范层、支撑层、数据层、服务层以及应用层。

基于增强现实AR的辅助教学平台设计架构图

 功能组成

 针对平台的结构体系，核心内容主要包括目标识别检测、实时流媒体、基于AR眼镜的智能交互。

 1. 目标识别检测

 目标识别检测，主要是指对教学产品部位和产品教学点的识别检测。识别完成后，根据识别结果提示相应的位置信息和教学产品部件的操作流程，并将教学产品部件的信息和操作流程叠加到终端屏幕和AR眼镜上，主要包含纯文字信息和图片信息。其中，纯文字信息一般是用来提示每一步操作步骤描述；图片信息则适用于大部分场景，直接给出特定位置带有特定标识的产品部位图片，方便学生和教师对比真实场景和提示图片，定位教学产品部件，方便教师和学生的教学和学习。

目标识别检测模型训练流程

 目标识别检测示意图

 2. 实时流媒体

 实时流媒体，是基于AR眼镜前置摄像头捕获的第一视角视频流，并实时转发到终端屏幕，是教师教学的重要支撑功能。

教学视频同步示意图

 流媒体能够将多媒体文件以数据流的形式传输于各设备之间。在传输数据之前,将视频、音频等多媒体文件进行编码压缩。经由流媒体服务器进行转发,最后传输到目标计算机。

 3. 基于AR眼镜的智能交互

 AR眼镜的智能交互从头盔摄像头获取特征图的信息开始，获取一帧图像之后开始进行像素转换，AR系统会对所获取的这一帧图像进行特征点提取与描述。在把相应的信息提供给应用层之前，图像特征描述信息库会通过特征识别单元对获取的特征进行特征匹配处理和对象的识别。在此之后，根据对象坐标信息对相机的外参数求解得出单应性变换矩阵，进而获得转换后的帧和对应的对象状态数据。一方面，将变换矩阵等信息返回到应用层用于二维虚拟物体和三维虚拟物体的矩阵转换得到投影图像；另一方面，与同步传送回头盔显示屏的视频帧进行精准融合，最后将生成的图像显示到头盔屏幕上，呈现给使用者。

图 5基于AR操作的示意图

 四、教学优势

 1. 推进课程设计更加合理化、人性化

 基于“实物+AR增强现实”的课程设计和教学应用，使得课程在设计形式上更具人性化，呈现形式更加多样化，呈现效果更佳。对于教学环节内容的落实、教学氛围的改善和教学效果的提高有明显的促进作用，推进了预期课程设计原则及教学目标的实现。

 2. 助力教学课程设计

 基于“实物+AR增强现实”的课程设计，为理论知识与实践操作提供了一个崭新平台，对教学课程的设计提供了新思路和手段，为课程研发者提供了更多趋向于模拟现实的课程研发思路和方向。同时，也为创新型课程研发提供了更加广泛的思考与发展空间。

 3. 助力学习效率与参与度的提升

 在传统课程设计层面，最难以保障的就是实施环节中学生的学习效果。假如理科学科中知识体系过度枯燥抽象，将会导致学生学习疲劳，影响学习效率，影响学习效果。但在“实物+AR增强现实”教学模式下，理科学科的枯燥与抽象程度将会明显削弱，有效缓解疲劳效应，学生在学习效率及参与程度上会有明显提升。

 4. 提高教学效率和效果

 由于某些教学内容受到特定的环境限制，每次教学时最多只能进行一个或几个学生的直接教学。完成一项教学内容往往需要分多批次进行，不仅教师工作量大、教学时间长，而且学生的实践性感受也存在很大差异，直接影响了教学效率和教学效果。采用“实物+AR增强现实”教学模式后，学生无须进入特定环境即可以第一视角感受教学场景，还可以通过语音提示、信息查询、互动交流等方式在终端设备上学习到相关设备的操作步骤、操作方法等内容，有效提高了教学效率和效果。