详情

虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计

申报人:高春轩 申报日期:2024-04-07

基本情况

2024
虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计 盲选
创新训练项目
艺术学
设计学类
A、学生自主选题,来源于自己对课题的长期积累与兴趣
创新类
2024-04
2025-04
本项目将虚拟数字人应用于江南水乡园林数字互动体验系统中。数字人作为导游、文化解说员、互动表演者、游戏陪伴者、历史人物还原等多种角色,为游客提供个性化、多元化的互动体验。通过结合虚拟数字人与园林景观,引领游客探索园林文化、参与互动活动、感受历史风貌增强游客对园林文化的理解与参与感。该系统将利用虚拟数字人提供沉浸式的互动体验,引领游客探索园林文化之美,同时促进数字技术与传统文化的融合。

项目负责人高春轩

国家级荣誉:

1.2023年11月获第十一届全国大学生数字媒体科技作品及创意竞赛国赛三等奖

2.2023年12月 获“国青杯”全国高校艺术设计作品展评学生组一等奖

3.20246月 获第十五届蓝桥杯全国软件和信息技术专业人才大赛视觉艺术设计赛全国总决赛三等奖

省级荣誉:

1.20245月 获第八届“米兰设计周—中国高校设计学科师生优秀作品展”非命题赛场江苏赛区二等奖

2.20245月 获第十五届蓝桥杯全国软件和信息技术专业人才大赛视觉艺术设计赛江苏赛区一等奖

3.2023年11月获第十一届全国大学生数字媒体科技作品及创意竞赛江苏省三等奖

4.2023年11月获第十一届全国大学生数字媒体科技作品及创意竞赛江苏省二等奖

5.2023年12月获江苏省第七届大学生艺术展演活动一等奖

6.2023年12月获第三届江苏省大学生网络文化节三等奖

7.2023年12月获第二届南京市公共文化“星辰奖”一等奖

校级荣誉:

1.2022-2023学年获“优秀学生干部”

2.2022-2023学年获“三好学生标兵”一等奖奖学金

3.2023年11月获南京信息工程大学实验室安全海报创意设计大赛优秀奖

4.2023年11月获南京信息工程大学暑期“三下乡”社会实践优秀团体

5.2023年10月获南京信息工程大学“军训优秀学员”称号

6.2023年5月参与研究生《红船精神,永放光芒》朗读大赛决赛一等奖

7.2023年4月获南京信息工程大学母校行优秀团体

8.2023年3月南京信息工程大学第十六届舞蹈大赛红船一等奖

院级荣誉:

1.2023年12月荣获2023年院级优秀宿舍称号

2.2023年10月获南京信息工程大学艺术学院“月圆人团圆”比赛二等奖

3.2023年10月获南京信息工程大学艺术学院职业生涯规划大赛二等奖

4.2023年9月被评为迎新优秀志愿者

5.2023年9月被评为综合事务部“优秀部员”

6.2023年6月被评为院级“养老院”优秀志愿者

7.2023年5月“无畏时光四六级打卡”高分通过四级

8.2022年11月获“践行二十大、百米画卷”优秀奖

科研成果:

1. 基于媒介融合思维的虚拟数字人设计应用研究,江苏省高校哲学社会科学研究项目一般项目(项目编号:2023SJYB0195),主持人,江苏省教育厅,2023

2. “互联网+”背景下气象影视人才培养研究,中国气象局气象软科学项目(项目编号:2020ZZXM43)中国气象局2020

3. 戏曲电影《白蛇传·情》的跨媒介叙事策略.《四川戏剧》(北大核心),2022(04)

4. 革命历史类博物馆中交互方式的发展.《艺术科技》(SCD2021(22)

5. 动态视觉在服装设计中的应用.《艺术科技》(SCD2022.01

6. 《媒体融合视角下气象科普视频的创作方法》.《青年记者》(北大核心) 2020年第14 2020.05

7. 《贾樟柯电影底层叙事的现实维度》.《电影文学》(北大核心),2016(12)

8. 影片《Hello!树先生》中的符号隐喻解读.《长城》(北大核心)2014(06)

9. 《国产动画电影的跨媒介叙事方法与策略》《传媒》(CSSCI2014(10)

10. 《当代中国动画叙事策探究:人物·情节·理念》 .《小说评论》(CSSCI2013(S2)

11. 《新媒体动画专业的教育教学改革研究与实践》.《电影评介》(北大核心)2012(18)

12. 试论影片《米香》中的“他者”视角.《电影文学》(北大核心),2012(09).2012.05

13. 计算机软件著作权《建筑彩画XR app》(2023SR1426191


教研成果:

1. 2023年省级课程思政示范课程(本科)《新媒体技术基础》

2. 2023年江苏省一流课程,社会实践课程《敢创会创-大学生创新创业实务》排序第四

3. 基于FBM行为模型的高校艺术实践教学改革游戏化设计策略研究和实践,南京信息工程大学校级教学改革研究课题,主持人

4. 2020年南京信息工程大学“课程思政”示范课程项目“新媒体技术基础”(项目编号:KCSZ069)主持人

52021年南京信息工程大学“课程思政”示范课程“影视技术基础”主持人


指导创新创业竞赛成果:

1. 游戏互动设计在古园林数字化全景app中的运用,国家级大学生创新创业训练计划项目(202010300041Z2021.07

2. XR沉浸式交互系统在建筑彩画中的开发与设计,国家级大学生创新创业训练计划项目(202310300053Z2023.05

3. 3D Mapping沉浸式共享空间系统在秦淮非遗工艺中的开发与设计,江苏省大学生创新创业训练计划项目省级项目(XJDC2021103005062022.05

4. 南京地铁服务类小程序开发与设计,江苏省大学生创新创业训练计划项目省级项目(201910300121Y2020.06

5. 游戏化思维在古建筑彩绘宣传保护类App中的应用,南京信息工程大学大学生创新创业训练计划项目(XJDC2021103005082022.06

6. 基于增强现实技术的美食类APP的开发设计,南京信息工程大学大学生创新创业训练计划项目(2018103001322019.06

7. 全球气象灾害MG动画科普APP开发与设计,南京信息工程大学大学生创新创业训练计划项目(2016103001452017.06

8.《古街道地名调查于创新型文化保护措施的研究——以南京古城为例》项目获得第十七届“挑战杯”全国大学生课外学术科技作品竞赛校级一等奖,2021.05

9. 非遗空间——3D Mapping沉浸式共享空间系统在秦淮非遗工艺中的开发与设计,南京信息工程大学第七届“互联网+”大学生创新创业大赛青年红色筑梦之旅赛道,校级铜奖,指导老师,2021.06

 

指导学科竞赛成果:

  指导学生参加全国高校数字艺术设计大赛、全国大学生广告艺术大赛等比赛,获奖一百余项,其中国际金奖1项,国赛银奖1项、国赛铜奖1项、国家级一等奖2项、国家级二等奖3项、国家级三等奖12项。

1未来设计师·国际创新设计大赛暨科技赋能可持续发展大赛(International Innovation Design Awards, IIDA & Science for SDGs Innovation Contest)国际金奖,联合国教科文组织与IIDA组委会主办,作品名《南京非遗-金铃IP形象设计》

22023第十一届全国大学生数字媒体科技作品及创意竞赛国赛一等奖《南京非遗-金铃IP形象设计》

3. 2023第十一届未来设计师全国高校数字艺术设计大赛,全国总决赛一等奖《南京非遗—金铃IP形象设计》虚拟IP及表情包设计组

4. 2023第十一届全国大学生数字媒体科技作品及创意竞赛国赛二等奖 《唐春三月》

5. 2023年全国大学生数字媒体科技作品及创意竞赛国赛三等奖  《行舟问鹤——中国画数字体验设计》

6. 2023未来设计师·全国高校数字艺术设计大赛国赛本科生组三等奖《不息》动画与视频设计组

7. 2023第十七届中国好创意全国数字艺术设计大赛·数字藏品设计专项赛,国赛三等奖《狮来运转IP设计》,2023.03

8. 2022第十届未来设计师全国高校数字艺术设计大赛,全国总决赛三等奖《3D Mapping非遗共享空间系统》,2022.08

9. 2022第十届未来设计师全国高校数字艺术设计大赛,全国总决赛三等奖《“危”光—寻找走失的星星》,2022.08

10. 全国三维数字化创新设计大赛(3D动力)14周年精英联赛(2021-2022)龙鼎奖,全国总决赛三等奖,数字文化设计大赛方向《非遗空间》,2022.07

11. 全国三维数字化创新设计大赛(3D动力)14周年精英联赛(2021-2022)龙鼎奖,全国总决赛三等奖,数字文化设计大赛方向《未来旅行》,2022.07

12. 中国好创意(第十六届)全国数字艺术设计大赛,元宇宙未来艺术赛道国赛三等奖,《非遗空间》,2022.08

13. 第八届中国装饰设计大赛(CBDA 设计奖)全国 银奖,《北京胡同文化博物馆》,2021.01

14. 202012届全国大学生广告艺术大赛,视频类影视广告国赛三等奖,《爱华青年,勇往直前》,2020.09

15. 2020《你好,中国就好》公益作品征集活动,国赛铜奖,平面广告《战“疫”后方的人》,2020.05

16. 第七届全国高校数字艺术设计大赛,数字影像与视频设计组国赛三等奖,《有机蔬菜》科普视频,2019.09

17. 第七届全国高校数字艺术设计大赛,数字影像与视频设计组国赛三等奖,《我的四年与祖国的四十年》科普视频,2019.09

18. 2019第十一届全国大学生广告艺术大赛,国赛三等奖,视频类影视广告《你的美丽我来守护》,2019.09

19. 第七届全国高校数字艺术设计大赛,数字影像与视频设计组国赛二等奖,《献出一份爱》,2019.09

20第七届全国高校数字艺术设计大赛,数字影像与视频设计组国赛二等奖,《春江花月夜》,2019.09

教学获奖成果:


1.《基于AI智能生成低模(lowpoly)科普可视化创新应用》2022年度中国电子视像行业协会“科技创新奖·技术奖” 中国电子视像行业协会 2022.12

2. 2022绚丽年华第十五届全国美育教学成果展 全国高校优秀指导教师奖、审美化教学能力一等奖 2022.11

3. 2022 第五届全国数字创意教学技能大赛(普通高等院校组)二等奖

4.  2018首届江苏省动漫数媒创意及制作技能大赛三等奖

5.  南京信息工程大学2023年度“教学管理先进个人”

6. 《消失的冰川》,江苏省第十一届优秀科普作品评选活动,新媒体组二等奖。江苏省科学技术协会、江苏省科学技术厅、江苏省新闻出版局、江苏省广播电视局评选2020.8

7.  2023年未来设计师·国际创新设计大赛暨科技赋能可持续发展大赛(International Innovation Design Awards, IIDA & Science for SDGs Innovation Contest)优秀指导教师,颁奖单位:联合国教科文组织、IIDA组委会

8.  2023年第十一届全国大学生数字媒体科技作品及创意竞赛,国赛优秀指导教师

9.  2023年第十一届未来设计师全国高校数字艺术设计大赛,优秀指导教师

10. 2023第十七届中国好创意全国数字艺术设计大赛国赛,优秀指导教师

11. 2022第十届未来设计师全国高校数字艺术设计大赛,优秀指导教师

12. 2020大广赛《你好,中国就好》公益作品征集活动,杰出指导教师

13. 202029届时报金犊奖,优秀指导教师奖

14. 202029届时报金犊奖,优秀指导教师奖

15. 2019虚拟(增强)现实设计大赛,优秀指导教师奖

指导教师目前有江苏省高校哲学社会科学研究项目在研项目一项(基于媒介融合思维的虚拟数字人设计应用研究),可以为本项目提供理论支撑和指导,并可为本项目提供实验实践所必需的实验空间和实践设备等基础条件。

指导教师参与完成的《基于AI智能生成低模(lowpoly)科普可视化创新应用》获得了2022年度中国电子视像行业协会“科技创新奖·技术奖”,并有计算机软件著作权《建筑彩画XR app》等研究基础,可以为本项目的实施提供技术支撑。

指导教师前期指导完成了《游戏互动设计在古园林数字化全景app中的运用》《XR沉浸式交互系统在建筑彩画中的开发与设计》《3D Mapping沉浸式共享空间系统在秦淮非遗工艺中的开发与设计》等国家级大创项目2项、省级大创项目2项、校级3项,为本项目的研究奠定了坚实的基础。

国家级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
高春轩 艺术学院 数字媒体艺术(中外合作办学) 2022 统筹、整理、设计、建模
郑欣茹 艺术学院 美术学(师范) 2022 整理、调研
吕淑晓 艺术学院 数字媒体艺术(中外合作办学) 2021 调查、分析、建模
王沐康 自动化学院 测控技术与仪器 2021 地理空间考察、江南园林勘测
杜禹潼 人工智能学院(未来技术学院、人工智能产业学院) 人工智能 2022 人工智能调研、初步设想研发

指导教师

序号 教师姓名 教师账号 所属学院 是否企业导师 教师类型
王少雄 850172 艺术学院

立项依据

项目研究目的

提升游客的沉浸感与互动体验:设计具有江南水乡特色的虚拟数字人角色,通过其生动的形象和有趣的互动,使游客仿佛置身于江南水乡之中,增强游客的沉浸感。通过虚拟数字人的引导,让游客能够参与到各种互动活动中,如解谜、寻宝等,使游客在游玩过程中更加投入和享受。


  ②传承与展示江南水乡文化:利用虚拟数字人作为文化使者,向游客介绍江南水乡的历史、风俗、艺术等方面的知识,使游客能够更深入地了解江南水乡的文化内涵。设计与江南水乡园林环境相融合的虚拟数字人场景,通过展示江南水乡的美景和特色建筑,让游客领略到江南水乡的独特魅力。


  ③个性化服务与情感连接:通过虚拟数字人的智能交互系统,为游客提供个性化的导览服务和建议,根据游客的兴趣和需求提供定制化的旅游体验。建立虚拟数字人与游客之间的情感连接,通过情感化的互动和表达,让游客感受到江南水乡的热情与温暖。

  ④创新旅游营销与推广:利用虚拟数字人的形象特点,设计具有吸引力的旅游宣传内容,吸引更多游客关注和参与。探索虚拟数字人在社交媒体和线上平台上的运用,通过互动营销和口碑传播,提升江南水乡园林的知名度和影响力。

项目研究主要内容

项目将构建江南水乡园林的数字互动体验系统。该系统将利用虚拟现实、增强现实等先进技术,将江南水乡的美景和园林特色进行数字化呈现。游客可以通过佩戴VR设备或使用手机等终端设备,进入虚拟的江南水乡园林世界,与虚拟数字人进行互动,参与各种有趣的活动和任务。

在场景Maya建模环节,我们以江南水乡园林的真实环境为基础,结合历史文献和实地调研资料,利用Maya软件进行三维场景的构建。

首先,通过Maya的建模工具,如多边形建模、NURBS建模等,精细还原江南水乡园林的地形地貌、水体流动、植被覆盖等自然景观。同时,我们还将对园林中的古建筑、桥梁、亭台楼阁等人文景观进行精准建模,注重细节处理,确保场景的逼真度和历史感。

其次,为了增强场景的真实感和沉浸感,我们还将利用Maya的材质和贴图功能,为场景添加光影效果、水面反射、植被纹理等,使场景更加生动逼真。

我们对江南水乡园林场景进行设计和建模:



图为江南水乡园林Maya场景建模设计图(左下为参考图,其余为建模图)

项目将致力于设计和开发具有江南水乡特色的虚拟数字人角色和场景。这些虚拟数字人将结合江南水乡的文化元素和现代科技,展现出独特的形象和个性。通过精心设计的外观、动作和语音交互,虚拟数字人将能够与游客进行自然、流畅的互动,提供个性化的导览服务和文化解读。

在人物Maya建模方面,我们将结合江南水乡的文化特色,设计并创建具有地域特色的虚拟数字人角色。首先,利用Maya的建模工具,塑造角色的基本形态,包括身体比例、面部特征、服装款式等。在建模过程中,我们将注重角色的表情和动作设计,使其能够呈现出丰富的情感变化和互动效果。

其次,为了提升角色的真实感和细节表现,我们还将利用Maya的雕刻工具对角色进行精细化的处理,如调整皮肤纹理、添加衣物褶皱等,并为我们江南水乡园林虚拟数字人取名为“澜茹轩”。

我们对江南水乡园林中的虚拟数字人进行设计和建模:

                                                                                        



图为江南水乡园林虚拟数字人“澜茹轩”建模三视图(上面为白膜,下面为完整人物)

建模完成后,贴图环节是提升模型真实感和视觉效果的关键步骤。首先,本项目将根据模型的材质和纹理需求,收集或创作相应的贴图素材。这些素材将包括各种纹理图片、颜色贴图、法线贴图等,用于增强模型表面的细节和质感。然后,利用MayaUV展开功能,将模型的表面划分为合适的UV块,并将贴图素材映射到这些UV块上。通过调整贴图的大小、位置和角度,确保贴图与模型表面的贴合度和匹配度。最后,本项目将对贴图进行渲染和导出,以便在后续的数字互动体验系统中使用。

完成建模后,还需要对虚拟数字人进行动画设计和交互设计。动画设计包括角色的动作和表情设计,使其能够自然地与游客进行互动。交互设计则关注虚拟数字人对游客行为的响应和反馈,以实现更加智能化的互动体验。

为了弘扬中华优秀传统文化,本项目将虚拟数字人与江苏苏绣、南京花灯等非物质文化遗产项目紧密结合,让她化身成为承载非遗技艺与故事的文创人物。为虚拟数字人设计了一系列古风角色,如仕女、文士、仙子等,这些角色在造型、妆容、服装上均汲取古画中的经典元素,既保留了古朴雅致的韵味,又赋予其符合现代审美趣味的创新表达。同时,虚拟数字人也能轻松驾驭国潮形象,将传统元素与现代时尚潮流完美融合,展现新时代下中国文化的自信与活力。用户在与这些多元角色互动的过程中,既能领略古典美学的魅力,又能感受到中国文化的与时俱进。

⑥在打造和推广本项目的虚拟数字人时,本项目精心策划了一个多维度、多层次的发布与互动策略,旨在充分利用当下主流社交及娱乐平台的优势,逐步揭开她的神秘面纱,吸引广大受众的关注,并随着人气的累积,通过一系列丰富多元的内容形式,如动画短片、综艺节目、纪录片以及直播等长视频载体,深度展现其独特魅力与无限可能。首先,本项目选择抖音作为首发阵地。本项目将精心制作一系列富有创意、节奏明快的短视频,巧妙结合流行元素与数字艺术,精准捕捉用户的兴趣热点,瞬间抓住眼球,引发用户的好奇与分享欲望,快速提升她在抖音社区内的知名度。与此同时,本项目将在B站(哔哩哔哩)同步开启内容输出。在这里,项目将围绕虚拟数字人推出深度定制的系列内容,如技术解析、幕后制作花絮、互动问答等,利用弹幕互动的特色功能,构建与粉丝间的即时对话桥梁,进一步强化其在二次元及科技爱好者中的影响力。在时尚与生活方式分享平台小红书上,本项目将塑造虚拟数字人独特的潮流形象与生活态度。通过发布高质量的图文笔记与短视频,展示其在虚拟世界中的时尚穿搭、美妆心得、生活趣事等,与平台用户共同探讨未来生活方式的可能性,吸引追求新鲜事物、热衷于社交分享的年轻女性用户群体,拓宽其在时尚圈层的影响力。至于微博,作为国内社交媒体巨头,其广泛的用户覆盖与强大的舆论传播力不容忽视。项目将利用微博进行官方信息发布、活动预告、热点话题讨论等,借助明星、KOL合作及热门话题联动,制造热点事件,引发全网热议,提升虚拟数字人在公众视野中的曝光度与话题性。随着在各平台积累起一定的人气基础,本项目规划逐步过渡到更丰富、更具沉浸感的长视频内容,全方位、立体化地讲述她的故事,展现其多面风采,以深化用户对虚拟数字人的认知与情感连接,实现从“现象级”关注到“深度粉丝”培育的跨越,最终在虚拟与现实交织的数字时代中树立起一个具有广泛影响力与持久生命力的标志性形象。 

  ⑦本项目未来将推出的短视频效果展示,将通过前沿的三维动画技术与精心摄制的实拍背景巧妙融合,构建一个富有沉浸感的交互平台,让用户能够与虚拟数字人进行实时、生动的互动与沟通。这一创新形式不仅局限于线上短视频的传播,更着眼于长远的交互展示应用。例如在校园内的图书馆、教学楼、学生中心等关键点位安装3D交互屏幕。屏幕上播放本项目的短视频内容,并配备感应设备,使用户能在屏幕前与虚拟数字人进行手势识别、语音交互等实时互动。这种新颖的学习与娱乐方式,将吸引大量学生参与,提升校园文化活动的科技含量与趣味性。当短视频积累较高人气与影响力后,项目还将积极与各类园林(如历史名园、城市公园、主题园林等)洽谈合作,将虚拟数字人互动体验引入实地场景。本项目将针对特定园林的历史背景、文化特色,为虚拟数字人设计契合的主题角色与互动剧情,使之成为园内导览解说员、历史文化讲述者或互动游戏引导者,或者在园林内设置专门的互动区域或沿游览路线布置交互屏幕、AR(增强现实)标识等,让游客能在游览过程中随时随地与虚拟数字人互动,获得深度游园体验。

国、内外研究现状

①虚拟数字人在国内外的起源和发展:

虚拟数字人(Virtual Digital Human)是指通过计算机技术和人工智能技术创建的虚拟实体,其外观、动作和行为可由计算机程序进行模拟和控制。虚拟数字人通常具有人类的外观和特征,可以表现出类似于人类的语言、情感和行为,具有一定的智能和自主性。虚拟数字人的创建通常涉及到计算机图形学、人工智能、运动捕捉、语音识别等多个领域的技术。通过这些技术手段,可以实现对虚拟数字人外貌、肢体动作、表情、语音等方面的高度仿真,使其能够与人类进行自然、流畅的交互。

虚拟数字人的概念最早起源于1989年美国国立医学图书馆的“可视人计划”。这个计划最初的目标是实现人体解剖结构的数字化,为医疗领域提供教学和临床诊疗的工具。随着技术的不断进步,虚拟数字人的应用范围逐渐扩大。Meta(前Facebook)在虚拟数字人领域投入了大量的研发资源,其推出的虚拟社交平台让用户可以创建自己的虚拟形象,与其他用户进行互动。此外,MicrosoftApple等科技巨头也在其产品和服务中集成了虚拟数字人技术,为用户提供更加丰富的交互体验。韩国在虚拟数字人领域的发展也颇具特色。

早在2000年,韩国就开始了可视人研究的五年计划,积极推动虚拟数字人技术的发展。一些公司推出了虚拟偶像,这些偶像不仅具有高度的逼真度,还能通过AI技术实现与粉丝的互动,为娱乐产业带来了新的增长点。



在中国,虚拟数字人的发展始于21世纪初。2001年,香山科学会议首次提出了“数字化虚拟人体”的概念,标志着中国虚拟数字人研究的开始。中国的科技巨头如百度、腾讯、阿里巴巴等都在虚拟数字人领域进行了深入的探索。百度推出了多款虚拟数字人产品,如小度助手等,为用户提供智能化的服务。腾讯则在游戏、社交等领域广泛应用虚拟数字人技术,为用户创造更加沉浸式的体验。高德地图则推出了虚拟数字人产品,使用户能够更直观地了解地图信息,获得更加个性化和全面的导航服务。此外,一些初创企业也在虚拟数字人领域取得了显著的成果,如推出了高度逼真的虚拟偶像和虚拟主播等。



图为科大讯飞虚拟人 



图为高德虚拟人




  图为百度“度晓晓

②虚拟数字人与传统文化结合实例

最近,网络上掀起了一股关于一位国风虚拟人物天妤的热潮。她的出现引起了轰动,成为了网民热议的焦点。天妤视频一经发布,便迅速登上抖音热榜,并长时间霸占榜首,成为了热门话题。在线观看人数超过6000万,仅仅三天内,抖音粉丝数量就突破了30万,吸引了众多美妆博主的关注和模仿。

本项目研究团队了解到天妤的整体造型灵感源自中国传统文化唐代敦煌壁画中的飞天形象,天妤的造型也参考了唐代出土的文物和相关书籍记载,她的服饰图案和色彩参考了壁画上最为真实的图纹,还原了千年前的古代风采,同时融合了敦煌文化的独特风格特色,因此本项目在设计虚拟数字人的同时也会查找相关历史记载和史书,更全面的设计出符合江南水乡园林的形象,更真实的还原古代风采;他们的设计团队以轻盈、飘逸的风格为主,选择薄而柔软的面料以及能够展现动感的帔帛,因此本项目团队在衣服材质方面也将参考天妤的服装材质,展示出虚拟人物形象的清雅气质; 天妤团队的颜色灵感取自敦煌壁画中常见的土红色,但加入了更多的青绿色调,通过色彩的调配和对比,达到了和谐统一且美观动人的效果。本项目设计颜色灵感取自江南水乡园林的青绿色调,从而达到协调大气典雅的效果。他们团队以敦煌文化为灵感,从传统文化中汲取养分,并进行融合创新,设计出大气典雅、独具中国古典美学特色的天妤造型。本项目团队以江南水乡园林文化为灵感,并结合现代科技进行巧妙的融合与创新,成功设计出了一款独具江南韵味的虚拟数字人,她的造型既典雅大方,又充满了中国古典美学的魅力。这款虚拟数字人仿佛是从江南水乡的园林中走出,带着那份宁静、婉约与灵动,让人一见倾心。

天妤对中国传统文化元素的应用不仅是一种传承,更是一种创新。所以本项目团队参考天妤的人物形象以及大众对虚拟人物的喜爱产生灵感,传统文化的传承不仅仅可以用文字传播,也可以用大众喜欢的方式,设计出符合传统文化场景的不同虚拟人物,它可以激发观众对于传统文化的热情,让大家有兴趣去深入挖掘背后的文化底蕴, 进一步推动了传统文化的传播和传承。


图为敦煌国风虚拟人“天妤”


图为2023丝路春晚

传统文化是中华文明的宝贵遗产,它不应该仅仅存在于学术研究和古籍中。我们应该继承传统、创新发展,让传统文化以更流行的形式呈现在人们的生活中。它应该是可见、可听、可闻、可感知的,活跃在当代人的生活中。就像天妤从敦煌壁画中走出来一样,她代表着我们对传统文化的重新认识和发扬光大的努力,在不断前进的道路上,恢复着属于我们的盛世华彩。

以敦煌艺术虚拟人天妤为参考,本项目团队希望通过虚拟数字人项目的开发与设计来加强大众对江南水乡园林的认识和传承意识,本团队更希望通过设计虚拟人与江南水乡园林,从而促进中华文化的多样性和创新性。

③展示方式的应用案例

博物馆与江南水乡园林交互案例

沉浸式展馆——中国江南水乡园林文化博物馆

该展馆采用了创新的展览设计和最先进的科技手段,以地域、经济、生活、文化和变革五个方面为切入点,生动地展示了江南水乡园林文化,呈现了一个立体而生动的“江南印象”。中国江南水乡园林文化博物馆总建筑面积约为2.1万平方米,建筑风格灵感源自吴冠中的江南水乡园林题材画作,充满了诗意的“粉墙黛瓦”风情。

但博物馆通常建立在固定的空间内,无法完全模拟和展现江南水乡园林的广阔和自然环境。尽管博物馆可以展示园林的历史、文化和艺术,但缺乏实地体验和互动,无法让游客真正感受到园林的美景和氛围。博物馆的展品通常是静态的,无法展现园林的季节变化、植被生长和水体流动等动态特征。由于受到空间和展示形式的限制,博物馆难以充分传达园林的细节和魅力,无法完整呈现江南水乡园林的特色。



图为中国江南水乡园林文化博物馆

艺术展与江南水乡园林交互案例

艺术展与江南水乡园林交互可以利用各种技术手段,有增强现实(AR)和虚拟现实(VR)技术,可以将虚拟的艺术作品与实际的园林景观融合,使游客能够身临其境地参与其中,增强参观体验。可以利用交互式投影技术,通过在园林中设置交互式投影设备,可以在园林环境中展示虚拟的艺术作品或交互式游戏,让游客可以与之互动。利用智能导览系统,游客可以通过手机App或导览设备获取有关园林的信息、历史和文化背景,并根据个人兴趣进行定制化的参观路线。在园林中设置各种互动艺术装置,如声光互动装置、触摸感应装置等,使游客能够通过互动参与,与艺术作品产生联系。

但实施艺术展与园林交互需要大量的技术支持和设备投入,成本较高,可能对项目的可行性和持续运营造成影响。依赖于高科技的交互展示可能存在技术故障或不稳定的情况,影响游客的参观体验,甚至导致展览无法正常运行。复杂的技术设备需要经常性的维护和更新,维护难度大,需要专业技术人员进行维护和管理,增加了项目的运营成本和难度。



 图为中国江南水乡园林文化艺术展

虚拟数字人与江南水乡园林交互案例

目前尚未有明确的虚拟数字人与江南水乡园林交互的案例。因此虚拟数字人与江南水乡园林交互的设计是在未来很有可能性实现的创新型项目,它有着以下优点: 虚拟数字人可以与游客进行实时互动,提供个性化的导览和解说服务,增强游客的参与感和互动性。 利用虚拟数字人的技术,可以设计各种趣味性的互动活动和游戏,增加游客的参与度和娱乐性,提升游览体验的趣味性。虚拟数字人可以通过语音、图像等多种形式向游客传达丰富的信息,弥补园林展示和介绍的不足,提升游客对园林的了解和认知。虚拟数字人技术可以创造出更加生动、立体的展示形式,使园林展示更具吸引力和震撼力,吸引更多游客前来参观。在展现园林的季节变化、植被生长和水体流动等动态特征的同时,还能充分传达园林的细节和魅力,完整呈现江南水乡园林的特色等等,这些都具备了较博物馆与江南水乡园林交互、艺术展与江南水乡园林交互所不具备的优势,这让虚拟数字人与江南水乡园林交互在未来具备更多可能。

       图为三种园林展示方式对比

1)项目创新点

数字技术与传统文化融合:

项目利用虚拟数字人技术,将传统的园林文化与现代数字技术相结合,促进了数字技术与传统文化的融合与创新,为传统文化的传承与发展注入新的活力。

 

②多模态交互设计:

通过声音、视觉、触觉等多种模态的交互设计,使得与虚拟数字人的互动更加生动丰富。游客可以通过语音交流、手势控制等方式与虚拟数字人进行互动,提升体验的趣味性和互动性。

 

③运用虚拟数字人:

虚拟数字人不受时间和地点限制,可以随时随地提供服务,轻松实现全球范围内的覆盖,使得用户可以在任何需要的时候获得信息和互动体验,增加了系统的可用性和便捷性。同时相比于雇佣真实人员提供服务,虚拟数字人可以大大降低成本,同时避免了人力资源管理的复杂性和不稳定性。

 

2)项目特色

沉浸式互动体验:

利用虚拟数字人技术,将江南水乡的历史文化、风土人情等元素融入到互动体验中。通过虚拟数字人的引导和解说,游客可以身临其境地感受到江南水乡园林的独特魅力,增强游客的文化体验和认知。

 

多元角色涵盖:

虚拟数字人可以扮演多种角色,如导游、文化解说员、互动表演者等,为参与者提供个性化、多元化的互动体验,增加了体验的趣味性和吸引力。

 

历史人物互动剧场:

项目中的虚拟数字人可栩栩如生地还原历史人物形象,与游客进行互动交流。游客可以与历史人物进行对话、观察其生活场景,以此深入了解江南水乡园林的历史文化,增强参与感和学习体验。




图为江南水乡园林虚拟数字人造型换装(变为簪花仕女和织女)


技术路线、拟解决的问题及预期成果

1)技术路线与前期准备:

对研究进程、技术路线、经费预算及分工等的详尽安排通过采取线上线下的问卷调查(定量研究)、用户深度访谈(定性研究)、市场分析、查阅以往文献资料以及进行专家访谈,发现江南水乡园林数字互动体验系统技术上的问题、江南水乡园林数字互动体验空间的环境体验舒适度问题、用户接受程度问题、技术的适配性,难度问题以及如何将沉浸式做到最好的问题,并了解用户对于江南水乡园林数字互动体验系统的体验的需求和期待,进行案例研究,分析类似项目的成功经验和失败教训,最后输出目标用户调研报告。针对所得数据进行分析所得出的江南水乡园林数字互动体验系统与虚拟数字人技结合过程中所存在的问题,结合目标用户设计出一套兼具高可行性、趣味性、能够调动用户积极性带来深远传承意义的系统优化方案。

   前期调研和需求分析:

进行对江南水乡园林文化的深入调研,了解用户对于园林文化的兴趣点、互动需求以及数字体验的期望。通过定量和定性的调查方法,收集用户反馈和意见,明确项目的目标和范围。

  软件开发与系统设计:

评估不同的虚拟数字人技术方案,包括人工智能、虚拟现实、增强现实等,选择适合项目需求的技术方案。根据项目需求和选定的技术方案,进行系统架构设计和软件开发,包括虚拟数字人的建模、动画制作、语音合成等。

  数据收集与优化:

利用线上线下问卷调查、用户深度访谈等方式收集用户数据,分析用户行为和反馈,优化系统功能和内容。根据调查设计用户友好的界面和交互方式,优化用户体验,提高系统的易用性和吸引力。

2)拟解决的问题:

如何能让这一江南水乡园林数字互动体验系统有足够的吸引力去吸引体验者并提升其参与感?

如何将数字技术与江南水乡园林在本项目中良好结合,并使得用户体验与盈利模式同时达到较好效果?

 如何在确保虚拟数字人效果出色的同时,尽可能地降低其制作成本?

④如何将系统的沉浸式体验做到最好?

 

  (3)预期成果:

  将虚拟数字人与江南水乡园林做到一个良好的交互式结合,虚拟数字人将会以导游、历史人物等为目标进行身份变换,并符合江南水乡不同的形象放置在江南园林的各个虚拟现实交互展区,虚拟数字人可以与游客进行实时互动,提供个性化的导览和解说服务,使游客可以身临其境地感受到江南水乡园林的独特魅力,增强游客的文化体验和认知,同时也推动了江南水乡旅游业的发展,从而可以更好地将传统园林文化进行数字化传承和保护,使得这些珍贵的文化遗产能够被更广泛地传播和理解。

20245-20248

进行线上线下的问卷调查和大量的资料搜集,并为目标用户建模。发现现有问题和不足并写出目标用户调研报告。

20249-202411

对产品进行小规模可用性测试,并搜集试用者意见和建议。总结不足之处并优化方案。

202412-20252

写出关于虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计方案的修订版,撰写《虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计》论文、完善研究报告并继续研究和创新项目。

20253-20255

撰写《虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计》论文,并在期刊发表;做出项目模型并尝试申请《虚拟数字人在江南水乡园林数字互动体验系统》项目专利。

项目研究进度安排

20245-20248

通过采取线上线下的问卷调查(定量研究)、用户深度访谈(定性研究)、查阅以往资料等多种资料搜集方式,发现非物质文化遗产保护和普及中存在的痛点问题以及对于数字互动体验系统技术上潜在需求和期待。并为目标用户建模,从用户模型进一步发掘用户的潜在痛点和需求,最后输出目标用户调研报告。

20249-202411

将在第二阶段中通过研究、设计提出的关于虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计的设计优化方案并进行小规模可用性测试,通过问卷调查、深入访谈等调查方式搜集试用者对优化方案的意见与建议等反馈。并对搜集获得的资料加以研究,以总结优化方案中存在的不足之处,为下一步进行对优化方案的修改、完善做准备。通过实践检验优化方案的有效性。

202412-20252

从反馈中总结出的优化方案尚且存在的不足与待提高之处,针对这些地方进行修改方案与完善方案的设计与研究。最大化对所给优化方案进行完善,最终得出关于虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计方案的修订版。

202532-20255

总结此次交互设计中的经验,分析虚拟数字人系统在江南水乡园林保护方面的意义,撰写《虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计》论文,并在期刊发表;做出项目模型并尝试申请《虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计》项目专利。

项目已有基础:

与本项目有关的研究积累和已取得的成绩

指导教师方面:

指导教师目前有江苏省高校哲学社会科学研究项目在研项目一项(基于媒介融合思维的虚拟数字人设计应用研究),可以为本项目提供理论支撑和指导,并可为本项目提供实验实践所必需的实验空间和实践设备等基础条件。

指导教师参与完成的《基于AI智能生成低模(lowpoly)科普可视化创新应用》获得了2022年度中国电子视像行业协会“科技创新奖·技术奖”,并有计算机软件著作权《建筑彩画XR app》等研究基础,可以为本项目的实施提供技术支撑。

指导教师前期指导完成了《游戏互动设计在古园林数字化全景app中的运用》《XR沉浸式交互系统在建筑彩画中的开发与设计》《3D Mapping沉浸式共享空间系统在秦淮非遗工艺中的开发与设计》等国家级大创项目2项、省级大创项目2项、校级3项,为本项目的研究奠定了坚实的基础。

项目团队方面:

项目负责人高春轩曾于202311月获第十一届全国大学生数字媒体科技作品及创意竞赛国赛三等奖,于202311月获第十一届全国大学生数字媒体科技作品及创意竞赛江苏省三等奖,于202311月获第十一届全国大学生数字媒体科技作品及创意竞赛江苏省二等奖,于202312月获“国青杯”全国高校艺术设计作品展评学生组一等奖,于202312月获第三届江苏省大学生网络文化节三等奖,于202311月获南京信息工程大学实验室安全海报创意设计大赛优秀奖,于202310月 获南京信息工程大学艺术学院“月圆人团圆”摄影比赛二等奖等充分体现项目负责人有着扎实的设计基础和深厚的专业素养,以及实践创新能力。并且在2022-2023学年获得南京信息工程大学“优秀学生干部”称号,在2022-2023学年获得南京信息工程大学“三好学生标兵”称号以及一等奖奖学金,于202311月获得南京信息工程大学暑期“三下乡”社会实践优秀团体,于20234月获南京信息工程大学母校行优秀团体,于202310月获南京信息工程大学“军训优秀学员”称号,于202310月获南京信息工程大学艺术学院职业生涯规划大赛二等奖,在20239月被评为综合事务部“优秀部员”,在2023年被评为迎新优秀志愿者和“养老院”优秀志愿者等这些荣誉的获得都充分体现项目负责人有着优秀的社会实践能力,团队协作能力和组织能力。

团队成员吕淑晓作为学生会执行主席曾于20228月获第十届未来设计师全国高校数字艺术设计大赛国赛二等奖,于20238月获全国三维数字化创新设计大赛国赛二等奖,于20228月获第十届未来设计师全国高校数字艺术设计大赛江苏赛区一等奖,于20236月获全国三维数字化创新设计大赛江苏赛区特等奖,于20238月获第十一届未来设计师全国高校数字艺术设计大赛江苏赛区二等奖,于20238月获大学生广告艺术大赛江苏赛区三等奖,于202211月获南京信息工程大学录取通知书设计大赛一等奖,于202206月获南京信息工程大学优秀学子母校行校级优秀个人,多次荣获南京信息工程大学暑假“三下乡”团体奖以及三好学生标兵、优秀学生干部、一等奖学金,于20222月获“学习之星”,于20237月 获艺术学院“优秀部长”等充分体现吕淑晓拥有创新能力和实践能力,更具备团队协作,沟通和出色的设计能力。

已具备的条件

首先,在技术层面,虚拟数字人技术已经取得了显著的进步。通过3D建模、纹理贴图、光照渲染等技术,虚拟数字人的形象可以变得非常真实。同时,语音合成和识别技术的发展也使得虚拟数字人能够与人类进行自然的语音交互。此外,自然语言处理技术、动作捕捉和手势识别技术,以及人工智能技术的应用,进一步增强了虚拟数字人的智能化程度和交互能力。这些技术为虚拟数字人在江南水乡园林数字互动体验系统中的运用提供了坚实的基础。

其次,江南水乡园林的特色和魅力为项目的实施提供了丰富的素材和灵感。江南园林以其叠石理水、淡雅朴素的建筑风格以及丰富的花木种类著称,这些特点可以通过数字化技术得以呈现。将虚拟数字人引入这一环境,可以实现与园林景观的深度互动,为游客带来全新的体验。

最后,在市场需求方面,随着数字化和智能化技术的普及,人们对于数字互动体验的需求也在不断增加。特别是在旅游领域,通过数字化技术提升游客体验已经成为一种趋势。因此,将虚拟数字人应用于江南水乡园林数字互动体验系统,不仅具有创新性,也符合市场需求。

目前,我们团队已经完成了技术梳理和初步的调研工作,并确保具备了实施该项目所需的场地、基础设施和设备条件。学校高度重视学生的创新精神和能力培养,积极支持学生申报大学生实践创新训练计划项目。教务处和学院组织有序,精心规划,并加强了实验室设施建设,取得了显著成效。这为我们的创新项目提供了良好的条件和支持。

此外,学校拥有丰富的图书资料和网络数据库资源,为我们提供了丰富的学术支持。我们的项目组配备了经验丰富的指导教师,各类实验室和基地也向我们开放,并积极提供各种便利条件。这些措施都为我们的实践创新项目的顺利开展和成功完成提供了实质性的保障。

 尚缺少的条件及解决方法

在技术实现方面,尽管虚拟数字人技术已经有所发展,但实现高质量的虚拟数字人仍然需要更先进的技术支持。比如,如何使得虚拟数字人的动作更加自然流畅、表情更加丰富细腻,以及如何提升虚拟数字人的智能化水平,使其能够更好地理解用户的意图和需求,都是需要进一步研究和解决的问题。缺少一些项目实施所必须的设备,如高精度的增强现实设备。另外需要购买相关的专业软件的使用权。在市场推广方面,虽然虚拟数字人技术在旅游领域的应用具有广阔的市场前景,但如何有效地推广和宣传这一项目,吸引更多的用户和投资,仍然是一个需要解决的问题。

解决方法之一是希望学校和学院能够支持本项目的实施,此外项目团队成员也会积极走出校园,与相关企业单位进行洽谈。争取获得一定经验技术支持或是设备支持等。创新创业项目对大学生的实践动手能力有着极大的促进提高作用。项目团队成员相信一定可以克服苦难,完善各方面条件,完成项目,取得更多的收获!

 

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 10000.00 8200.00 1800.00
1. 业务费 9000.00 8200.00 800.00
(1)计算、分析、测试费 2000.00 专利研发及申请注册 2000.00 0.00
(2)会议、差旅费 1000.00 参赛参展 200.00 800.00
(3)文献检索费 0.00 0.00 0.00
(4)论文出版费 6000.00 科研成果发表 6000.00 0.00
2. 实验装置试制费 0.00 0.00 0.00
3. 材料费 1000.00 打印印刷及实践耗材 0.00 1000.00

项目附件

  • 艺术学院+虚拟数字人在江南水乡园林数字互动体验系统中的运用与设计+高春轩.doc
    下载
结束