我们的项目通过XR沉浸式交互系统与建筑彩画的有机结合，通过利用虚拟现实技术实现内容可视化的呈现方式去保护建筑彩画文化。我们主要是将人机交互与虚拟相结合，将虚拟现实技术引入建筑彩画文化传承。通过技术手段人为创造数字化建筑彩画内容，利用计算机三维建模模拟和演绎建筑彩画发展历程和创造过程，利用数字技术收集建筑彩画传承人创作过程，带动用户主动参与。在这一沉浸式体验过程中，用户能身临其境地够了解建筑彩画的渊源历史和完整的制作过程，与虚拟内容实现互动，达到人机合一的状态。

从建筑彩画文化传承和制作工艺来看，我们把XR沉浸式交互技术和建筑彩画相结合是为了提升建筑彩画的知名度、改善建筑彩画的保护现状。我国文化传承大多是形成了“身口相传”的文化链条模式，建筑彩画文化传承亦是如此，但随着人类社会的进步，这种文化链条亦受到了其自身传承机理的约束，未能实现与时俱进的变革。所以，我们提出以XR沉浸式交互技术为突破手段，通过科技的方法链接传统与现代，为建筑彩画传承、保护与创新开拓全新路径。

从本项目的技术来说，XR沉浸式交互技术可以最大化实现“减少观展成本，破除地域制约，提升趣味体验，强化认知水平”的综合效益。同时，它作为一种崭新的交互技术，能够吸引到一大批受众，达到良好的宣传效果。未来的XR技术会不断发展完善，因而XR技术也有更加广阔的空间去等待我们进行开发和设计。

我们对于XR沉浸式交互系统在建筑彩画的开发与设计，主要是对系统进行不同手工的不同布景和不同交互内容设定，从而达到趣味性和独特性。

首先,我们对XR沉浸式交互系统进行外观设计和建模：

图为XR头戴式眼镜建模图         图为XR头戴式眼镜模型渲染图

XR头戴式眼镜模拟图

其次，我们对XR沉浸式交互系统进行界面设计：

图为XR沉浸式交互系统的界面设计

目前留存的古建筑彩绘基本可分为三类：苏式彩绘、旋子彩绘以及和玺彩绘。

图为建筑彩画的三种主要类型

我们在这以旋子彩画为例。

南京地区旋子彩画代表：南京明孝陵、美龄宫

明代的陵墓建筑明孝陵代表着明初皇家建筑的艺术成就，彰显了最高级别的建筑艺术；规模宏大且具有严格等级制度的布局，精湛工艺与严谨选材的细部装饰，更体现了明孝陵是凝聚了当时美术家，设计师、工程师、建筑师、风水师的最高智慧于一体的陵墓建筑。而明代建筑彩画以旋子彩画为主流；旋子枋心彩画大致分为：金线大点金，墨线大点金、墨线小点金、雅伍墨四种。其等第高下依用金量及繁简程度而定。金线大点金、墨线大点金以上两种彩画为上等彩画。墨线小点金同墨线大点金，但仅花心和栀花沥粉贴金，空枋心为中等彩画；雅伍墨规制为全部墨线，无沥粉，无晕，无金，青绿间色，为次等彩画。

图为明孝陵建筑彩画

而同样作为旋子彩画代表建筑队美龄宫在2012年进行了修缮工作。美龄宫的彩画原是一绝，出自工笔画家陈之佛之手。重现当年彩画原貌，成为此次工程成败的关键。维修方请来了省级民间工艺美术大师，曾经修缮过沈阳故宫彩画的史延林团队来修复美龄宫彩画。史延林说，为了保证彩画不褪色，我们用的全是天然矿物质颜料。底色是按照古法，自己熬制桐油，并加以白面、瓦灰、猪血等调制出来的；着色更是用了近20种颜料，达到层次分明的效果。为了达到华贵亮丽的效果，彩画大量使用了金箔装饰，贴金面积占总面积的近一半。“金箔全部选用南京本土产的，而且抗紫外线照射，永久不褪色。”史延林说，贴金箔的工艺难度相当高，一点小风就能把金箔吹跑。所以只能挑风和日丽的天气施工，还搭了帐子，防止风吹和灰尘。

图为美龄宫

从这个过程中，我们可以看出建筑彩画修复难度之大、修复时间之久、修复工艺之繁复。所以，我们要将XR沉浸式交互系统应用到建筑彩画当中。

首先，制作建筑彩画数字博物馆，逐步收集建筑彩画资料，根据类别、地区、时间进行划分。其次，分别制作动画彩绘馆（虚拟世界）、数字讲解馆（增强现实），趣味游戏馆（混合现实）等三类不同体验的展馆。动画彩绘馆会利用三维扫描、三维建模、游戏引擎等相关技术，将现实中的古建筑彩绘的数据记录下来，完成三维扫描和建模。与此同时，绘制二维动画科普视频，为用户提供多种虚拟视觉体验；数字讲解馆与现实建筑彩绘相结合，通过快速采集数据，识别该纹样的类别、时期等，并同步进行视觉文字展示与语音讲解；趣味游戏馆通过虚拟小游戏与现实场景，共同完成建筑彩绘作品创作。此外，用户可选择录制第一视角的建筑彩画创作视频，保存留恋。

这样的方式不仅提升了体验者的体验感，给观众新奇感与独特感，沉浸感也得到了加强，用户能充分了解到建筑彩画制作的全过程以及感受到建筑彩画的无限魅力。

①XR技术在国内外的起源和发展：

扩展现实（Extended Reality，简称XR），是指通过计算机技术和可穿戴设备产生的一个真实与虚拟结合、可人机交互的环境。扩展现实技术可以看作一种涵盖性术语，包含了虚拟现实VR、增强现实AR、混合现实MR及其他因技术进步而可能出现的新型沉浸式技术。

XR是随着计算机图形与仿真技术的不断发展而产生，沉浸式技术就是其发展的基石。首先诞生的是虚拟现实技术VR，随着VR的发展又衍生出增强现实AR、混合现实MR等。区别于传统的超文本、平面图像等二维媒介及传统3D图像/视频，沉浸式技术依托跨媒介、非结构化的视、听、触等多感官刺激途径，进一步解放人的感性思维，激发创造性思维。而在技术深度融合的大背景下，更具包容性的扩展现实横空出世，将VR、AR、MR等诸多人们所熟悉的沉浸式交互技术融合在一起，以实现虚拟世界与现实世界之间的无缝转换。

XR技术的来源向前追溯到1994年,作家兼制片人朱莉·马丁(Julie Martin)首次将增强现实技术应用到文化娱乐行业,在戏剧作品名为《网络空间中的舞蹈》中,杂技演员在物理舞台上与投影的虚拟对象一起跳舞。

时间推进到2010年前后的国内,XR技术被大型的晚会、演出及赛事应用,以国家队为代表,VR、AR、全息技术一次次在除夕春节联欢晚会的直播中为观众带来震撼新奇的视觉体验。

图为2015年春节联欢晚会

图为2023年春节联欢晚会

今年迪拜世博会“XR动态版”《清明上河图》——“一千年前世界第一大都市开封”的动态艺术画面惊艳世界。在这次明代·仇英《清明上河图》真迹沉浸特展的呈现中，全面应用了XR视效技术、云计算、5G、AI人工智能、动作捕捉技术等技术，让历史运动，让盛世“复活”。“盛世长卷”巨幅投影区使用了光影及CG技术，打造了23米长，3.2米宽的“巨幅画卷”，将明代·仇英《清明上河图》用日夜交替的智能动态呈现，所有的元素均源自原画。多位画师为此研究了大量史料，模拟仇英画风，绘制画中上千个人物服饰，涵盖了宫廷贵族，文官武将，市井平民，同时将许多场景的细节一一重现。同时还运用智能化路径系统，即时规划人物运动轨迹，实现千人同屏千人千面的多元展现，只为真实还原明仇英笔下清明上河图中的盛世繁华景象。

图为“XR动态版”《清明上河图》

科技的加持，对原画中所描绘的繁荣景象和市井文化进行了“再次还原”，让观众在不知不觉中入画，将学术性与互动性相交融，开启时空穿越之旅。“XR动态版”《清明上河图》赋予千年古画新的艺术生命，让观众通过“5G+XR”技术真切感受画中行走的人物、牵着骆驼的商队、小桥下的流水、小酒馆里的行酒令。

②AR\VR\MR目前的应用案例

VR案例

麦当劳Happy Meal Headset，Happy Meal Headset之于麦当劳就好像纸板眼镜之于谷歌。麦当劳Happy Meal Headset最早在瑞典试点发行。通过Happy Meal Headset，人们可以获得基础的VR体验。麦当劳还为Happy Meal Headset量身定制了一款虚拟现实滑雪游戏。

图为Happy Meal Headset

AR案例

耕云AR虚拟换装产品由西安立耕信息科技有限公司自主研发虚拟互动展示产品，产品通过手势隔空互动，运用独特的技术实现实时测量身材参数，实时反馈使用者身体动态特征，与大屏显示形成AR换装的效果，最终达到3D模拟试穿效果。

图为耕云AR虚拟换装产品

MR案例

哈医大肿瘤医院胸外科徐世东主任医疗团队运用混合现实影像技术（MR），为一名右肺上叶磨玻璃结节的患者进行精准定位，并实施了肺段切除，成功上演了精湛的手术与高科技完美结合的“科幻大片”。

图为手术照片

通过以上的例子和研究，我们发现虚拟技术和生活的例子较多，将虚拟技术与其结合可以很好的给体验者带来兴趣。但是融合以上技术与文化的结合还很少，因此我们将项目的重点放在XR技术的协调上，以及系统的交互感和沉浸感。

 （1）项目创新点

①XR技术与建筑彩画的多元结合：

我们利用XR技术，将视频资料、动画视频、趣味游戏等通过XR头戴式眼镜展现给用户，第一视角的体验感会更好。

②建筑彩画数字化:

数字化的建筑彩画博物馆在传递的过程中损耗更小，在内容展示上虚拟真实环境和三维世界感知可有效增强建筑彩画的可视化和可被理解性。

③XR眼镜便携：

以科技的手段实现文化的传递，摆脱空间对人群信息获取的限定，利用数字信息技术的便捷性与跨域特质。XR眼镜小巧，便于携带，更有助于建筑彩画基地向青少年群体宣讲。可放在建筑彩画教育基地、建筑彩画博物馆，也可以放在网上售卖。

（2）项目特色

①灵活性和趣味性：

XR技术提升项目整体的趣味性，大大吸引用户使用，其中的彩画游戏等项目更能为用户带来成就感。同时，项目宣传建筑彩画的方式灵活多变、长者可以选择观看纪实录像与照片文字资料、小朋友可以选择观看动画化建筑彩画介绍。

②沉浸式体验：

XR技术可以为用户提供第一视角去游玩建筑彩画世界，其中有全虚拟模式、增强现实模式，亦有虚拟和增强现实相结合的模式，细节丰富，感受真实多种沉浸式体验更利于建筑彩画文化的传播。

（1）技术路线与前期准备：

对研究进程、技术路线、经费预算及分工等的详尽安排通过采取线上线下的问卷调查（定量研究）、用户深度访谈（定性研究）、市场分析、查阅以往文献资料以及进行专家访谈，发现XR技术上的问题、头戴式眼镜的体验舒适度问题以及沉浸式如何做到最好的问题，并了解用户对于XR头戴式眼镜的体验的需求和期待，进行案例研究，最后输出目标用户调研报告。针对所得数据进行分析所得出的XR沉浸式交互系统与建筑彩画结合过程中所存在的问题，结合目标用户设计出一套兼具高可行性、具有趣味性、能够调动用户积极性带来深远传承意义的设计优化方案。

①信息整合与分析研究：

通过对所得信息的整理与分析，以及逻辑归纳，得出XR沉浸式交互系统与建筑彩画结合过程中用户的关注点与潜在需求，通过对用户的反馈的分析与研究，发现方案的不足。

②研究优化方案改进优化方案：

针对存在的问题与潜在需求设计优化策略，改进和优化现有方案，完善技术路线。

③市场调研和实践检验：

将部分产品投入市场调研，小范围内加以实践，以增加方案的有效性，最终整理、加以分析，完成优化方案总结经验，编纂论文、申请专利并进一步将产品系统投入市场。

（2）拟解决的问题：

①如何能让这一交互沉浸式系统有足够的吸引力去吸引体验者完整地进行体验和互动，激发用户弘扬建筑彩绘非物质文化遗产。

②如何将XR沉浸式交互的系统与非遗文化内容和手工在本项目中良好结合，如何将整体的运营思路在本项目中良好得运用，并使得公益效益与盈利模式同时达到较好效果。

③如何将XR系统的沉浸式体验做到最好，XR头戴式眼镜维修应该怎样解决。

（3）预期成果

将XR沉浸式交互系统与建筑彩画做到一个良好的交互式结合，XR头戴式眼镜能放置在博物馆、展览厅甚至各大学校等公共场所，独立不占用过多空间，让人们可以随时随地以一种娱乐的方式深入了解建筑彩绘，并且拥有一个完整的体验过程和制作过程，增加了非遗文化与人之间传播的趣味性和轻松感，较好地帮助理解中国建筑彩画的魅力，同时也推动了建筑彩画产业的潜移默化的发展，从而带动建筑彩画更好地传播与传承。

2023年4月-2023年7月

进行线上线下的问卷调查和大量的资料搜集，并为目标用户建模。发现现有问题和不足并写出目标用户调研报告。

2023年7月-2023年10月

对产品进行小规模可用性测试，并搜集试用者意见和建议。总结不足之处并优化方案。

2023年10月-2024年1月

写出关于建筑彩画与XR沉浸式体验的开发与设计方案的修订版，撰写《XR沉浸式交互系统在建筑彩画中的开发与设计》论文、完善研究报告并继续研究和创新项目。

2024年1月-2024年4月

撰写《XR沉浸式交互系统在建筑彩画中的开发与设计》论文，并在期刊发表；做出项目模型并尝试申请《XR沉浸式交互系统》项目专利。

2023年4月2日-2023年7月2日

通过采取线上线下的问卷调查（定量研究）、用户深度访谈（定性研究）、查阅以往资料等多种资料搜集方式，发现非物质文化遗产保护和普及中存在的痛点问题以及对于XR技术的潜在需求和期待。并为目标用户建模，从用户模型进一步发掘用户的潜在痛点和需求，最后输出目标用户调研报告。

2023年7月2日-2023年10月2日

将在第二阶段中通过研究、设计提出的关于XR沉浸式交互系统在建筑彩画中的开发与设计的设计优化方案并进行小规模可用性测试，通过问卷调查、深入访谈等调查方式搜集试用者对优化方案的意见与建议等反馈。并对搜集获得的资料加以研究，以总结优化方案中存在的不足之处，为下一步进行对优化方案的修改、完善做准备。通过实践检验优化方案的有效性。

2023年10月2日-2024年1月2日

从反馈中总结出的优化方案尚且存在的不足与待提高之处，针对这些地方进行修改方案与完善方案的设计与研究。最大化对所给优化方案进行完善，最终得出关于建筑彩画与XR沉浸式体验的开发与设计方案的修订版。

2024年1月2日-2024年4月2日

总结此次交互设计中的经验，分析XR沉浸式体验系统在建筑彩画遗产保护方面的意义，撰写《XR沉浸式交互系统在建筑彩画中的开发与设计》论文，并在期刊发表；做出项目模型并尝试申请《XR沉浸式交互系统》项目专利。