面向多专业背景的交互式实时3D课程建设与探索

时间：2024-05-04

刘向东

（吉林大学公共计算机教学与研究中心，吉林长春 130012）

0 引言

通过交互式实时3D，可让内容创作者按照与真实世界交互的方式直接与数字化的虚拟世界进行互动，是构建沉浸式虚拟世界的基础技能，在建筑、智能制造、自动化等实体行业和虚拟制片、虚拟现实、教育等非实体行业都展现出广阔的应用前景［1-2］。“十四五”国家信息化规划将文化产业数字化战略作为重点工程，推动虚拟现实等新一代人机交互技术与其他行业相结合［3］。交互式实时3D 作为其中的核心技能，一个完整的实践项目涉及到从程序控制到艺术设计等诸多领域，是新时代文化产业非常重要的一环，非常适合面向本科各专业进行推广。本文针对多专业背景学生的特点，立足于交叉学科的人才培养需求，推出了全新的交互式实时3D 通识课程，并设计了个性化的教学方法，以期为相关课程的教学提供参考。

1 课程背景

传统3D 动画、游戏和影视特效中采用离线渲染，虽然画面效果更精细，但完成整部影片的渲染需要长达几天时间，每次对内容进行修改都需要重新启动渲染过程查看结果，非常不利于3D 创作。随着实时渲染技术的成熟，虚拟环境几乎可以瞬间完成3D 视觉效果的显示。基于实时图形技术的交互式3D 开发，可以实现即时修改、即时显示，并实现虚拟环境的快速调试，如图1 所示。这种开发模式将对整个数字媒体内容制作的工作与沟通方式带来巨大改变［4］。面对新技术的冲击，人才市场对相关技术人才的需求与日俱增。但相对于数字媒体技术领域的快速发展，数字媒体教育领域则相对滞后。据普华永道发布的报告中预测，到2030 年，我国对VR/AR 人才的需求量在全球占比将达到18%，但提供的人才数量仅占全世界的2%［5］。

Fig.1 Difference between real-time rendering and offline rendering图1 实时渲染与离线渲染区别

交互式3D 发端于游戏行业，所以目前最流行的实时3D 软件平台是Unity 3D 和虚幻引擎等游戏引擎。其中，虚幻引擎（Unreal Engine）以其逼真的图像渲染质量、庞大的插件和资源库与基于蓝图的可视化编程系统，成为非编程类设计人员最喜欢的工具［6］。虚幻引擎目前已迭代到第5版，生产的内容可部署到移动设备、计算机、增强现实（AR）和虚拟现实（VR）平台等。虽然身为游戏引擎，但是已为包括影视、虚拟广播、建筑可视化等诸多行业提供了一套完整的开发工具［7］。虚幻引擎通过C++进行开发，也可以使用蓝图，用非代码的方式实现完整的程序控制，极大地降低了非计算机专业学生的程序设计负担，且在教学时可免费下载和使用，非常适合作为多学科通识课程的教学与实验平台。

吉林大学公共计算机教研中心基于自身的软硬件条件，在本科计算机公共课程中面向各专业学生开设交互式实时3D 设计、动画及游戏课程。课程以大学计算机基础作为前导课程，用虚幻引擎5 作为教学与实验软件平台，提供HTC VIVE 虚拟现实设备、绿幕环境和实验机房。通过分类型、分阶段的内容设计，以及翻转课堂与基于团队项目实验的教学形式，引导学生将交互式3D 技术与各自的专业相结合，取得了不错的效果，有效提升了学生的设计能力、团队协作能力和创新能力。

2 教学方法探讨

2.1 课程面临的主要问题

作为通识类课程，选课学生覆盖了艺术、播音主持、医学、经济、工学等不同计算机水平、不同需求及专业方向的从大一到大四的学生。为切实掌握学生的学习情况，参考相关文献［8-9］，对2021-2022 学年的选课学生在学期结束后进行了问卷调查。结果显示，选课专业与年级分布如图2 所示，选课动机主要包括：①对3D 设计有兴趣；②了解相关知识的重要性；③他人或学院推荐；④完成学分。

Fig.2 Distribution of students grade and major in the second semester of 2021-2022图2 2021-2022学年第二学期选课学生专业与年级分布

学生完成课程目标存在以下3方面的问题：

（1）教学内容与学生的多元化背景不匹配。交互式实时3D 创作是一个庞大的综合体，包含从理工知识到艺术设计知识的应用型开发体系，一个学期的通识课程难以让不同专业的学生全面掌握相关知识。所以，不论从教学时间、学生接受能力还是学科相关性来看，都不适合对学生进行通盘讲授，而是需要根据学生的专业背景选择教学方向和内容。

（2）综合实验完成度低。交互式3D 是具有很强实践性和操作性的课程，学生自主实验应该在教学时间中占据相当的比重，而来自不同专业的学生由于能力和兴趣点不同，对课程内容的掌握有很大区别。学生选课动机不同，虽然随着课时的进行都能找到兴趣点，但是由于一个完整的3D 交互项目涉及的内容较多，实现完整的实践项目需要对项目整体进行通盘了解，对学生的能力要求较高。

（3）缺乏课外资源的支持。有些学生对课程内容和相关领域很感兴趣，但教师受限于课时和课程难度，不能在课堂中对领域涵盖的诸多子方向和应用进行全面讲解与练习。因此，需要为学生在其感兴趣的方向上提供更多课外实际操作机会和相关比赛的训练。

2.2 教学模式设计

针对多专业背景教学设计问题已经有了很多研究［10-15］，但缺乏针对交互式3D 课程文理科强交叉以及教学内容覆盖广、综合项目难度大等特点进行的研究。本文在相关研究基础上，根据课程实践，将传统教学方法调整为分类型、分阶段的教学模式，主要包含以下内容：

（1）分类型的教学目标。为了让学生可根据不同专业背景，有效掌握交互式实时3D 的基本创作过程和技术，并能根据自身专业和兴趣贴合3D 项目，课程不再对所有学生使用统一的教学目标，而是预先根据专业分类，如播音主持和艺术学院属于艺术类，行政、考古和经济学院属于产品类，电子、软件和物理学院属于控制类，再针对每类学生设计不同的教学任务和考核内容。

（2）分阶段的分组教学模式。课程教学与具体项目的深度融合是课程设计的总体方向，但实验项目设计不应该对全部学生采用单一模式。为了让学生根据自己的能力和兴趣点选择适合的项目内容，进而增强学习兴趣和自主性，教学实践被分为初级、中级和高级3个教学阶段。

初级阶段属于基础内容，所有学生必学。中级阶段允许学生根据个人兴趣选择不同类型的学习任务，完成不同类型的实践项目。同时，为了让学生了解和体验一个完整3D 交互设计项目的实现过程，采用分组学习和实践模式，通过适当的组队，让每组学员可将各自的项目组合成完整的应用。高级阶段适合学有余力的学生选学，以便了解业内的最新发展状况。

（3）按类别和阶段设计在线资源。从中级阶段开始，当教学内容和实验都基于个性化的选择，学生就不得不面对自主学习的问题。虽然交互式3D 领域有大量在线资源可供选择，如虚幻引擎官网、Bilibili 视频网站、在线文档和其他Mooc 资源等，但这些内容庞大且繁杂，需要教师去芜存精，更需要根据学生的类别和学习阶段进行整理。

课程选取学习通作为在线教学平台，提供教师制作与选取的视频和开源项目，并针对艺术、控制和产品类别分别设置中级与高级的在线资源，让学生更有效、系统地学习与解决自己的问题。

3 教学内容与实验设计

3.1 教学内容设计

交互式实时3D 创作的基本流程为：①在虚幻引擎中导入和编辑3D 模型、动画、音频等多种资源；②添加光照、材质设计、物理、音频、视觉等效果，创建虚拟场景；③通过C++或蓝图为场景中的Actor 添加智能行为、组件材质修改方法，以及动画切换、用户互动等控制程序；④添加UI 界面和程序流程控制；⑤项目根据发布平台实现优化、配置和发布，从而生成一个能够探索、互动的3D 世界。

为促进高校在人才培养和课程建设上适应职业岗位需求，工信部发布了《3D 引擎技术应用职业技能等级标准》，对3D 引擎的学习提出符合行业企业需求的建议［16］，并将开发能力分为初级、中级和高级3 个等级。同时为了在教学过程中让不同学科背景的学生选择适合的内容，将中级流程分为控制类、艺术类和产品类，对接《3D 引擎技术应用职业技能等级标准》，梳理出教学内容设计框架如图3所示。

Fig.3 Teaching content design framework图3 教学内容设计框架

其中，初级阶段是所有选课学生的必学内容，对于场景交互，只选择非编程的可视化蓝图脚本实现。从中级开始，允许学生根据自身情况选学某一类别的知识，并启动教学实验，由学生根据所选内容自由组队，完成指定项目。高级阶段是选学内容，学有余力的学生可使用教学资源或其他在线资源进行学习和项目实践，教师主要负责引导和答疑。

3.2 教学实验设计

本课程的实验教学依据对教学内容的分类和学生的选择，设计为3个子方向和1个综合项目：

（1）校园场景漫游。艺术类学生以真实校园为模板，通过模型进行环境设计，搭建仿真的虚拟校园。

（2）行人和交通模拟。控制类学生通过蓝图或C++程序，控制角色和车辆模型在指定的交通路线上自主行动，并可通过键盘控制角色与环境互动。

（3）交互式物体展示和动画制作。产品类学生通过UI菜单，采用选择、旋转、缩放等方式对导入的网格体进行展示，并将展示过程生成网页和动画视频。

（4）综合项目是基于虚拟校园的解谜类游戏，需要团队合作完成，生成一个包括过场动画的功能完整的游戏。学生可根据实际情况自由组队，把完成的3 组实验整合到一起，自由设计游戏元素和主线，并任意添加VR、AR 等特性。

所有教学实验设计和综合项目的主题并未进行严格要求，而是允许学生根据各自的专业和兴趣，在教师同意的情况下对实验内容作出修改，同时鼓励创作学科交叉的应用项目。

4 实验项目驱动的分阶段教学实践

由于采用了分类型、分阶段的教学模式设计，在教学实践中也为不同教学阶段采取不同的教学策略，并通过实验项目督促学生更积极地完成线上线下混合教学。

（1）初级阶段。主要通过幻灯片教学和操作步骤的演示，帮助学生更好地理解交互式3D 并熟悉相关引擎。包括交互式3D 基本概念、相关技术和设计流程，虚幻引擎搭建与基础操作，以及使用蓝图实现场景控制方法的入门。

（2）中级阶段。由学生根据专业进行分类型学习，从艺术类、控制类和产品类中进行选择，不同类型的教学内容将不一样。艺术类主要学习环境渲染、效果设计和角色动画；控制类主要学习高级编程、场景交互和智能系统；产品类主要学习项目整体的界面设计、流程控制和内容整合及发布。

教学手段也改为基于项目的翻转课堂。课程开始时公布各类别的实验方向，学生分批轮换式上课。奇数课借助线上学习平台发布的目标和教学视频，让学生通过案例进行自主学习；偶数课由学生介绍案例作品及所遇到的问题，教师负责答疑并将操作总结成知识体系。此外，每轮课程学生都要使用所学内容对实验项目进行改进，并由教师和其他学生打分，以此督促学生积极参与线上自学。

（3）高级阶段。涉及到交互式3D 的高级应用，此为选学内容。由教师为学有余力且对3D、AR、VR 领域非常感兴趣的学生准备对应的教学文档和在线视频，学生自主进行学习，教师负责答疑解惑。同时，在此阶段开展综合实验项目，由学生自由组队，每组最多6 人，包含3 个类别的学生至少一人。通过创建完整的游戏项目，从而整合所学知识。

5 教学实践效果

在实际教学过程中，这种分类型、分阶段的教学和实验模式设计，可以有效提升学生的学习兴趣和综合实验完成度。原先部分文科专业和学习能力较弱的学生，在课程中后期跟不上教学进度，参与度低。但在新模式下，几乎所有学生都能在所选类别中完成教学目标和实验内容。从学习通平台的反馈看，章节的任务点完成度从76%提升到94%，课堂问题的参与度从48%提升到74%，综合实验的平均分数从60分提升到80分。

此外，在学期结束后，部分学生依然使用课程的在线平台参与“大学生计算机设计大赛”等相关比赛，并获得了省一和国二等奖项，同时通过案例讨论和经验分享，进一步提升了自学和团队协作能力。