音乐数字可视化在多动症儿童治疗中的设计与实现 62页

中文图书分类号：TP311.5密级:公开UDC：620学校代码：10005工程硕士学位论文M.E.DISSERTATION论文题目：音乐数字可视化在多动症儿童治疗中的设计与实现论文作者：张成义领域：软件工程指导教师：孟中张墨林论文提交日期:2015年10月 UDC：620学校代码：10005中文图书分类号：TP311.5学号：G2012225091密级：公开北京工业大学硕士专业学位论文（非全日制）题目：音乐数字可视化在多动症儿童治疗中的设计与实现英文题目：MUSICVISUALIZATIONWORKINGONADHD’STREATMENT论文作者：张成义领域：软件工程研究方向：数字艺术申请学位：工程硕士专业学位指导教师：孟中张墨林所在单位：软件学院答辩日期：2015年12月12日授予学位单位：北京工业大学 独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：张成义日期：2015年12月12日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：张成义日期：2015年12月12日导师签名：孟中日期：2015年12月12日 摘要摘要在现代生活中，由于生活压力与环境等相关因素，儿童多动症的发展态势不容乐观，在众多的治疗方式中，艺术治疗逐渐成为一种崭新的治疗方式。伴随着互联网的发展，艺术与计算机学科的紧密联系，计算机学科为艺术提供了很多发展的新途径与思路，其中在艺术治疗儿童多动症领域，交互式的设计与实现成为治疗儿童多动症的有效途径。通过交互式的艺术设计能够有效地吸引多动症儿童的注意力，刺激神经，同时有效的参与过程能够促使团队参与，从而改善多动症儿童的注意力形式。笔者所研究的音乐数字可视化在多动症儿童治疗中的设计与实现，正是在当今的药物治疗副作用大，心理治疗效果差的基础上，强调利用数字手段制作的交互式音乐数字可视化应用来强化多动症儿童的注意力方式。通过音乐的潜在心理诉求反映到计算机界面与图形图像元素之上，进而作用于受众视听，受众在进行参与的过程中，潜移默化地得到理想的治疗效果。这种物理治疗方法，副作用小，见效较快，具有良好的发展应用前景。笔者利用面向对象编程语言ActionScript3.0来进行设计与制作，良好应用接口与跨平台特性使得在开发成本较小的情况下能得到较好的应用展现效果，数字化的音乐作品能够充分发挥潜在的表现力，进而作用于多动症儿童的感官神经，起到良好的治疗效果。关键词：儿童多动症；音乐数字可视化；交互式I 北京工业大学工程硕士专业学位论文AbstractBecauseofpressurefromlifeandnatureenvironmentinmodernlife，ADHD’streatmenttrendisnegative.Arttreatmentisbecomingonesplit-newkindinmanytreatmentsforADHD.AsthedevelopmentofWeb，ArtandComputersciencehascloseconnection.Computersciencehasprovidedmanywaysandideaforartandamongthem，interactivedesignandapplicationhasbecomeonekindeffectivemethodforADHDtreatmentintheareaofArtforADHD.Bythepassofartdesigninthemannerofinteractive，itcandrawtheattentionofADHDChildren，stimulatetheneuralsystemandatthesametime，itcallsteaminteractionandcanchangethemannerofADHDchildren.WhatthewriterdoesistofocusonthestudyofADHDchildrentreatmentbyMusicVisualization.Inpresent，medicinetreatmenthaslargesideeffectandpsychologytreatmenthasbadresult.So，weturnourattentiontomakeinteractivemusicapplicationtochangethefocustypeofADHDchildrenbythemannerofdigitalandinteractivemusicstudy.Musichasitspotentialpsychologyexpressionandwemakeittobethechangeofcomputergraphicsandsprites.Asaresultofthat，theaudienceacceptsthetreatmentbyparticipatinginit.Thisisonekindofphysicaltherapy，ithastheadvantageoflessside-effectandfasteroutcomeandhasgoodprospects.ItakeadvantageofAdobeAironthebasementofActionScript3.0.Ithasbetterapiforsystemandlesscost，andtheresultasweseeisgood.AdobeAircomefromAdobeFlashProfessionalplatform，ithasgoodanimationgene.DigitalmusicapplicationcantakefulladvantageofitspotentialandhaseffectoftheneuralsystemofADHDchildren.webelieveitwouldhasbettereffectonthetreatmentonADHDchildren.Keywords：ADHD;MusicDigitalVisualization;InteractionII 目录目录摘要..............................................................................................................................IAbstract...................................................................................................................II第1章绪论.................................................................................................................11.1音乐数字可视化概述......................................................................................11.2国内外研究现状..............................................................................................31.3主要研究内容..................................................................................................91.4论文结构说明................................................................................................11第2章音乐数字可视化在多动症治疗中的需求分析............................................132.1需求分析.......................................................................................................132.1.1多动症治疗需求分析..........................................................................132.1.2软件设计需求分析..............................................................................152.2设计目标分析.................................................................................................162.3软件设计所遵循的原则.................................................................................172.4本章小结.........................................................................................................19第3章音乐数字可视化在多动症治疗中的设计....................................................213.1设计思考.........................................................................................................213.2软件美术设计与动画制作.............................................................................223.2.1软件三维模型设定与制作..................................................................223.2.2软件界面设计与制作..........................................................................253.2.3音乐数字可视化视觉元素的设计实现..............................................263.3本章小结.........................................................................................................27第4章音乐数字可视化在多动症治疗中的实现....................................................294.1交互式音乐数字可视化制作难点分析.........................................................304.1.1音乐频谱的图像化反映......................................................................304.1.2艺术形式与多动症治疗......................................................................324.2交互式音乐数字可视化制作探讨与实践研究.............................................344.2.1音乐频谱的视觉元素反映..................................................................344.2.2视觉元素的交互反馈..........................................................................384.2.3软件整合与发布..................................................................................394.3本章小结.........................................................................................................41第5章音乐数字可视化在多动症治疗中的测试....................................................435.1音乐数字可视化对多动症的作用途径与治疗效果.....................................43I 北京工业大学工程硕士专业学位论文5.2交互式音乐与多动症治疗的精神动因.........................................................455.3音乐数字可视化在医疗产业的发展途径......................................................465.4本章小结.........................................................................................................47结论..............................................................................................................................49参考文献................................................................................................................51致谢..............................................................................................................................55II 第1章绪论第1章绪论1.1音乐数字可视化概述进入二十一世纪以来，伴随着工业崛起和经济高速发展而引发的社会生活、环境恶化问题日益突出，由此引发的社会恶性因素逐渐增多，注意缺陷多动障碍（ADHD简称多动症）因其在儿童中的较高发病率日渐受到社会关注，其后续治疗与康复问题也成为现代社会不可忽视的一个医学类难题。多动症是在儿童时期比较常见的一类心理缺陷，是儿童时期发病率高、发病周期长、涉及范围普遍、最复杂的心理与行为障碍。多动症的临床表现主要为：与年龄发育水平不一致的注意力无法集中、注意时间短暂、活动过度、容易冲动，并常伴有学习困难障碍、品行障碍和对新环境适应慢等表现。国内外儿童患病比率为4%～8%，多动症男女比例为4：8.5，按此比例计算，患有轻重程度不同的多动症儿童在世界范围内的人数将以亿计。针对多动症的治疗始于上世纪六、七十年代，一直到目前为止，多动症的治疗主要诉诸于对于兴奋剂的使用，其中阿莫西汀作为去甲肾上腺素再摄取抑制剂广泛被应用于临床治疗之中，但同时我们看到其引发的疲劳与恶心症状也在影响着多动症儿童的正常生活。医学人员大量科学研究表明，多动症疾病对儿童的学习质量、价值观养成、人格建立、心理健康、自信心、家庭关系等具有十分重要的前期影响和不可忽视的长期效应。目前在许多儿童精神病门诊中，多动症儿童患者数量日益增多，儿童多动症已成为最常见的一种心理与行为障碍。正因如此，近30余年来，多动症发病及后续治疗问题已成为心理学家、社会学家、儿童精神病学家等各领域研究的重要问题，也成为千百万家长、教师在教育和教学中面临的一个迫切需要解决的实际问题。而上世纪末提出的艺术治疗理念渐渐被接受，实验成为治疗多动症儿童的可选途径，而在艺术治疗中具有视觉与听觉双重属性的音乐可视化作品成为首选。可视化(Visualization)是指在人脑中形成对某物（某人）的图像，是一个心智处理过程，促进对事物的观察及建立概念等。在计算机技术中，可视化是一种过程呈现手段，是人机交互的工具。而作为可视化大概念下的音乐数字可视化（MusicDigitalVisualization）是对音乐的一种非主观的解释与判断，是为理解、分析、比较音乐表现力和内部结构提供的一种呈现技术。音乐数字可视化，是指一种以视觉为核心，以音乐为载体，以大众为诉求对象，借助多种新媒体技术等传播媒介，通过画面、影像来诠释音乐内容的、视听1 北京工业大学工程硕士专业学位论文结合的大众化传播方式，它能为理解、分析和比较音乐艺术作品形态的表现力和[1]内外部结构提供一种直观视觉呈现的技术。新媒体技术和网络工业时代催生了音乐数字可视化技术的发展，视觉工业在新媒体技术的拥簇下逐渐成为一种独特的文化产业链，它以计算机图形图像技术为基础，通过数字化的视觉图像，以新媒体技术为传播方式，加上如今成熟的工业文化生产体系，成为一种战略性文化产业。从基本意义上来说，音乐和视频等其他传播方式相比，具有“形象化联想”的特点，人们在情感作用的支配下，会有对生活场景的领悟，对意境的感受等。通过音乐数字可视化，每个人都可以换一种方式感受生活，打破传统的“音乐只是用来倾听”的单一格局；通过各类图形动画形式将音乐意象具体化，将诸多的虚拟音乐元素赋予了十分生动的表现意义，并延伸了听觉艺术的美感底蕴，为大众欣赏美妙音乐开通了一条崭新的发展渠道。音乐数字可视化的实践及商业应用将会非常广泛，比如舞台现场表演的音乐数字可视化视频背景、商品展览馆的装置音乐可视化系统，结合现场具体位置空间制定出具有交互性质的交互艺术作品，给人一种极强的沉浸感和视觉冲击力。数字音乐，是指用数字格式存储的音乐，可以通过网络来进行大范围传输的音乐。数字音乐最终归结为0，1为主体的计算机二进制比特流，而作为计算机图像的表示同样最终归结为0，1为主体的计算机二进制比特流。因此数字音乐与计算机图像在数字时代找到了共同的表达方式，作为制作者可以将数字音乐的音乐特征反馈给计算机图像的色相、饱和度、明度上来，以此来将音乐的情感化特征转化为数字图像的展现元素。数字音乐通常包括节拍、节奏、音高、音频、音域、音量等数据信息。在数字媒体艺术作品中，数字音乐会根据计算机技术所独有的非线性和垂直编辑法，通过数字化技术手段将各音乐要素进行整合和展现，能够完全体现出数字音乐本身所具有的技术性魅力，通过与其他声音元素的融合，体现着数字艺术作品的无穷魅力。数字媒体艺术中的数字音乐通过数字技术和先进数字设备进行形式上的创作和展示，相对于模拟音乐，数字音乐在制作层次和最终作品应用上具有独特特征。数字音乐从开始到最终都以数字技术和数字设备为支撑，和一般音乐类型相比，数字音乐在形式上更加丰富，能够通过拼接、重构、叠加等方式对音乐作品进行多层次制作。在数字音乐的创作过程中，计算机技术作为创作核心体现着数字音乐的技术性特点。音乐数字可视化正是在对数字音乐与可视化的概念进行结合之后提出的，其2 第1章绪论通过计算机比特流的内在表现，通过视觉元素的展现来表现传统音乐的节拍，节奏，音频，音高等与受众情感相关的音乐表现形式。通过数字化，非线性的表达方式来进行情感的传递与视觉表达，进而对人的心理产生作用，而这也是音乐数字可视化在多动症儿童治疗中的精神作用机制之一。1.2国内外研究现状目前为止针对儿童多动症的治疗研究，主要靠心理辅助治疗、药物治疗、行为管理和教育等方法。药物治疗方法简单而且方便，在临床上具有比较明显的短期效果，但是随着研究的长期深入和大量临床实践经验的累积表明，药物治疗逐渐突显出很多局限性，比如对某些多动症人员无效、药物的服用对身体存在不可忽视的副作用，在提高学习成绩，维护亲子关系等问题上缺乏明显的积极临床效果；心理治疗方式治疗周期长，临床上短期内虽然有明显效果，但此治疗方式稳定性有待提高。因此，在目前的多动症治疗领域中寻找一种更具临床影响力和吸引力的新型辅助治疗方式尤为迫切。近年来数字艺术和新媒体艺术的并列跨越式发展为拓展多动症治疗方式提供了可能，如何利用现代数字艺术来进行治疗成为一个崭新的研究方向。拥有音乐视觉化的交互式软件能够通过图形图像的线条变换，色彩叠加分散等抽象形式与传统影像艺术中的“重复蒙太奇”相结合的方式，最大化的进行数字音乐的视觉化展现。对于吸引受众，提升受众参与度具有不可比拟的效果。CG技术能够成为视觉艺术与听觉艺术之间的桥梁，受众在倾听音乐的同时能够得到抽象性、表情性的视觉表达。音乐数字可视化对多动症儿童的治疗方案能够使用户在进行试听体验的同时，得到充分参与视听介质的机会，形成幻觉作用。通过交互式的触摸屏或其他硬件装置，用户体验将会更加丰富与完善。音乐视觉化的表现形式和一系列的交互功能都能够很好的作用于当代多动症儿童的感官。对于吸引儿童注意力，矫正儿童多动行为具有良好的发展研究前景。多动症儿童参与交互式音乐的过程中将会得到适当程度的艺术治疗。音乐数字可视化解决方案力图从计算机角度来进行人类情感的引导与导向，对于多动症儿童的认知行为和精神方面具有良好的注意力修正作用。目前，无论是绘画艺术治疗或是传统的情景化音乐治疗，这些艺术治疗都可以对多动症儿童产生很好的治疗作用。多动症儿童的疾病机理其中之一为多巴胺产生不足，社交与情绪障碍磁共振研究发现，音乐可以强烈激活伏隔核（NAC）和腹侧被盖区（VTA）以及下丘脑、脑岛。而NAC(NeureAssociativeconditioning，中文翻译为“神经链调整术”)和腹侧被盖区的激活有利于多巴胺的释放，帮助3 北京工业大学工程硕士专业学位论文改善ADHD（Attention-deficithyperactivitydisorder，中文翻译为“注意力缺陷多[2]动障碍”）儿童的核心症状。同时，音乐能够直接作用于边缘系统，对人的情绪行为起到调节作用。情绪体验被认为是整个边缘系统整合的结果，可见音乐治[3]疗除了改善ADHD的核心症状外，还可以改善他们的情绪波动症状。1940年，音乐治疗在美国卡萨斯大学正式成为学科。经半个多世纪的发展，音乐治疗已成为一门成熟完整的边缘学科，已经确立的临床治疗方法多达上百种。在美国有近80多所大学设有音乐治疗专业，培养学士，硕士和博士学生。美国有大约4000多个国家注册的音乐治疗师在精神病医院、综合医院、老年病医院、儿童医院、特殊教育学校和各种心理诊所工作。从上世纪70年来开始，音乐治疗传入亚洲。在日本和台湾较大的医院都设有专门的音乐治疗师。音乐治疗专家Fumeax在1969年的报告中指出：音乐可取代其他活动，因为对于顽固性或仪式性行为，能藉由音乐活动(选择能引起其兴趣的)吸引其注意与学习兴趣，则可以取代不良的顽固行为。在国内外，对于注意力缺陷障碍儿童的音乐治疗研究比较零星，目前还没有一个统一的模式，当然也出现过一些与音乐相关疗法，如，近年来兴起的高频音乐疗法，其创始人法国著名音乐学家阿尔弗雷德·托马提斯认为，注意力的缺失是由于耳内的肌肉逐渐松弛造成了听注意的下降，将经过调试的高频声音刺激耳道，锻炼耳肌肉，使之逐渐强壮，在锻炼的过程中，即在中耳进行过滤声音的过程中，注意力也由此得到了训练。高频音乐疗法的疗效如何，外界褒贬不一，并没有许多研究报告对其疗效统计及其原因分析作总结。在英国，由于受到朱丽叶特文和Nordoff-Robbins两个主要的理论的影响。他们强调使用即兴创作，即兴创作和临床音乐疗法受到进化理论的影响,是在音乐理论框架下是身心得到松散。音乐治疗师在治疗过程中,尤其是与患者互动,形成了对残疾儿童的治疗理论。这两种方法虽然都强调音乐疗法重点是即兴创作,但是他们在不同的音乐下有不同的解释。Nordoff-Robbins(1971年)开发了对治疗过程各种特定的理论指导和评价尺度,强调治疗发生在音乐期和愈合期。相比之下,音乐创作的方法是作为工具有助于改变的,而不是完全就是治愈。最引人注目的发展是音乐疗法已经应用到影响临床实践，出现了有针对性地解决问题的方法。而音乐沟通技巧是那么直接的应用于结构简易的方式治疗。1985年，来自欧洲其他领域的影响：发展心理学、神经生理学和音乐心理学等对英国的音乐疗法产生了很大的影响。美国宾西法尼亚大学音频心理学教授DJRicken发现音乐治疗除可以帮助青4 第1章绪论少年更好地与他人交往、互动外，还有助于在课堂教学中减少学生的多动症症状。国内就职于广州美术学院，常年从事书法心理治疗研究的书法心理治疗专家胡斌学者发现绘画艺术同样能够为多动症儿童提供治疗矫正的作用。美国牙医协会常务领事ClarkeAR在分析了100个8-12岁患有多动症障碍的女孩的脑电图数据，了解了其α波、β波等波形的分布、波幅、节律等数据之后，提出音乐与视觉艺[4]术能够为多动症儿童提供良好的辅助治疗作用。潍坊市阳光应用心理学研究所所长——孙振华则提出功能性音乐不再以艺术性为主要追求，而是以实现特定的靶向功能为目标，其提出了各种不同的音乐种类对多动症音乐的治疗效果与作用途径，丰富与完善了音乐可视化对干预多动症儿童注意力的研究。图1-1孙振华对多动症音乐治疗研究Figure1-1ADHDresearchbyzhenhuasun目前国内外针对多动症儿童的音乐可视化研究相对较少，但根据国内外的研究成果与研究数据不难看出，音乐可视化作为艺术治疗的一种手段与方法，正在多动症儿童的治疗中发挥积极效果，笔者基于音乐数字可视化对多动症儿童的研5 北京工业大学工程硕士专业学位论文究同样在研究数据结果之后表明，多动症儿童治疗与音乐可视化确实具有正相关的治疗效果，相信在不久将来，音乐可视化的治疗模式将逐渐成熟并投入到医疗产业中。大量的交互音乐数字可视化作品由于结合形式主义和后现代的思想理念，个性化、多样性的画面展现能够冲击人的视听觉体验，有效吸引受众主体的注意力，进而形成良好的试听感受，这种试听作用对于受众具有相当程度的沉浸性和吸引性，对于多动症治疗同样具有研究潜力。因此利用现代数字艺术和数字媒体设备来进行辅助治疗成为一个崭新的研究方向。设计人员通过数字化媒体交互软件对各类型的音乐作品进行频谱分析，根据音乐频谱制作出视觉化图形动画。拥有音乐视觉化的交互式软件作品可以通过展现图形不规则运动线条，图形图像色彩等抽象形式利用“重复蒙太奇”方式相结合，最大化进行数字音乐的视觉化展示，通过音乐和视觉效果吸引受众兴趣，加强受众参与度，具有不可比拟的特殊效果。通过CG技术突破传统的音乐表现形式，利用计算机编码对音乐进行解析、分析与重现，通过表现主义的艺术风格，能够很好地进行多动症儿童的人机交互与思想交流。在客观形式美的原则中，韵律和节奏是视觉艺术显现的重要表现形式要素之一，音乐的韵律表现从视觉艺术角度上来看有一种线性的图像表现潜力，受众在倾听音乐的同时能够得到抽象性的感受和表情性的视觉表达。音乐可视化能够使用户在进行试听体验的同时，得到充分参与视听介质的机会，形成幻觉作用，通过交互式的触摸屏或其他装置，用户体验将会更加丰富与完善。音乐视觉化的表现形式和一系列的交互功能都能够很好的作用于当代多动症儿童的感官注意力。这对于吸引儿童注意力，矫正儿童多动行为具有良好的发展研究前景。多动症儿童参与交互式音乐的过程中将会得到适当程度的艺术治疗。音乐数字可视化对多动症儿童治疗解决方案力图从计算机角度来进行人类情感的引导与导向，本研究对青岛大学医学院中的多动症儿童进行治疗，通过第四章的数据分析可以发现本研究对于多动症儿童的认知行为和精神方面具有良好的注意力修正作用。笔者所进行的音乐数字可视化对多动症儿童研究中，将音乐的频谱属性进行数字量化，以此反映到视觉元素的初始动画运动动量上来，如此，本来静态的视觉元素在不同音乐响度的刺激下产生了不同的行为，将音乐的听觉属性——音频转化为了视觉元素的视觉属性——高度。这仅仅是音乐数字可视化的一种表现手段，其实，无论是音乐广场中单片机控制的照明灯还是音乐会中背景色彩的变化，音乐数字可视化的手段无外乎将音乐的响度，音色，频度等属性反映到图像的色相，饱和度，明度等属性中，数字音乐与视觉可视化在计算机中通过0，1比特6 第1章绪论流找到了共同的表达方式。音乐数字可视化是传统音乐在数字时代的产物，其原本隐秘的艺术特性在新时期，可以通过计算机三维动画，虚拟现实等手段表现出来。目前，音乐数字可视化作品大多借助Java、Actionscript等计算机编程语言、AdobeFlash等应用开发平台和立体投影技术，在城市建筑光感投影艺术等方面运用光线、阴影和系统设备制造出美轮美奂的艺术氛围。此外，在音乐教学课堂中，学习者可以通过定制的虚拟乐器软件进行实时交互练习，具有减少器材开支，提高学习兴趣，学习效果随时监测等优势。对于技术层次上的音频可视化，各类视频动画在实现原理上是类似的，就是将音乐或者音频的频谱进行数据的提取与分析，将获得的数值属性与我们所见的图像的一些属性（如颜色变化、亮度、高度、宽度）等进行相应的关联。将音频文件进行输入，系统会自动分析提取各个时间点的声音属性，随着时间的前进，由于声音属性在不断变化，基于提前设置的关联性，图像的属性也在不断发生变化，因此会产生多样的动画效果，由此实现音频可视化效果。在音频可视化过程中，对音频中频谱的区域界定和选择至关重要，由于不同音乐在不同时间点的高、中、低音域宽度不同，每个频率的震动频率也各不相同。目前，针对音乐数字可视化和交互式设计的综合运用，很多多媒体工作室或研究部门已经开始对其进行专业性的探索和应用，并有部分优秀的交互式音乐作品诞生。FavoriteWebsiteAwards(http://www.thefwa.com)是一个世界范围内著名的互动多媒体网站，会不定期展示世界范围内优秀的媒体艺术设计作品。其中有一个作品名为“TelepopSpaceTravel”，意思是“简单而又深邃的音乐漫游”，由华扬数字营销院亚实验室提供支持，吴鉴团队开发。它是一个注重音乐视觉体验的交互作品。在之前我们所接触到的音乐数字可视化呈现主要是根据一首歌而创作拍摄的具有一定剧情的MV，视觉体验方面单一枯燥，和观看者缺乏交互性，音乐沉浸性和可塑性差。在这个作品中，计算机识别系统会根据人为输入歌曲的不同和所播放时间点的差异，产生不同的输出效果：二维图形从屏幕近端旋转飞向远端，不同颜色的图形元素做着不同的运行路线，歌曲相关封面照片不断变换位置等等。在这个作品中，当体验者在网页上输入歌曲名称等相关信息后，系统会在播放音乐的同时根据输入歌曲本身含有的歌名、歌手名等信息进行与之相关的图片搜索，这两个动作被绚丽的颜色和简约的图形融为一体，给体验者带来一种充满想象和沉浸性的交互音乐视觉化体验，即"TelepopSpaceTravel"，在电脑显示7 北京工业大学工程硕士专业学位论文端，不规则的三角形、圆形、菱形和变幻莫测绚丽多彩的色彩营造出一个充满视觉刺激的音乐空间。各种视觉元素随着音乐播放进度不断呈现，并且随着音乐的节奏等进行规则性改变。各类图形图像建立起一个虚拟的具有景深的三维空间，整个体验过程像是在时空隧道中穿越，整个作品只用基础的数字技术和硬件设备，令基本的图形元素随着音乐律动。此作品在手机、平板、电脑等终端能够保持流畅的运行，为受众多方位体验提供了空间。这个交互作品构思精巧，用意新颖，以尊重体验者对各类音乐的心理感受为基础。通过体验者搜索自己想要的歌曲，系统程序立刻开始搜索与歌曲相关的所有信息，通过筛选形成每首歌曲独特的关键信息，搜索的同时程序开始分析歌曲音频频率、波幅等要素，然后根据反馈的数据信息通过蒙太奇方式进行整合，最终显示出犹如时空穿梭的动感画面。在整个音乐体验过程中，系统播放的歌曲首先确定是体验者想听到的，屏幕上所展示的图形图像类型是体验者感兴趣的。根据体验者所输入的所有信息，"TelepopSpaceTravel"会将所有根据输入信息得到的图形图像、图片等进行整合，去除和歌曲不匹配或者多余的信息，挑选出最适合歌曲曲风的图形信息，然后系统会将挑选出剩余的图片进行视频化播放，通过用户输入与程序输出，完成了一次交互性的体验过程：通过体验者的输入操作和系统的针对性显示，包括图片搜索和图形元素拼接，还有音乐节奏的获取，达到了人与机器、机器与作品、作品与网络的"交互性"。事实证明，其不仅成为了数字音乐的创意标杆，更是作为FWA（FavouriteWebsiteAwards）艺术治疗的推荐作品，呈现给广大的网站浏览者。图1-1Telepopspacetravel音乐数字可视化效果Figure1-1Telepopspacetravelmusicvisibility以上笔者简单概述了音乐数字可视化相关技术与理论，我们可以看出，音乐数字可视化的技术实现都是通过对声音波形的数据进行原始解析来反映到图形元素的宽高、形变，动作等属性上来，从而形成具有韵律感的图形元素的动作。8 第1章绪论1.3主要研究内容经走访青岛市妇幼保健医院与青岛大学医学院儿童科，笔者认为利用现代交互式音乐数字可视化软件能够对多动症儿童进行一定程度的心理干预，利用交互式音乐数字可视化作品来吸引多动症儿童注意力，进一步改善其注意力和行为认知模式，达到矫正和辅助治疗的作用。当今，国内外对于多动症儿童的治疗，多集中于游戏治疗，药物治疗，和艺术治疗之上，笔者选择的音乐数字可视化解决方案，则属于艺术治疗的一种，结合传统的精神疗法的理论和技巧，并运用数字媒体独有的创意疗法，即利用计算机生成大量随机的数字图形图像，通过不同的图形图像的情感特性，来达到吸引多动症儿童的目的，同时触摸设备的运用能够让多动症儿童参与其中，在游戏中获得沉浸性与趣味性，达到矫正多动症儿童注意力的目的。本文主要研究内容包括FlashActionSript3.0对数字音乐的可视化方法探究，多动症儿童的音乐数字可视化治疗途径探究，探讨多动症儿童的用户体验与音乐数字化的表现形式之间的联系，致力于探究提升多动症儿童注意力的音乐视觉化表现形式，旨在突破传统的音乐表现形式，运用新型的CG技术，计算机编码对音乐进行解析，分析与重现，创造表现主义的艺术风格的视觉作品，引导多动症儿童的人机交互与思维修正。（1）多动症儿童的音乐数字可视化治疗途径探究。在进行软件的初步设计制作后，通过对多动症儿童的治疗实验发现，单纯的音乐可视化作品并不能如设计本初构想那样吸引儿童的注意力。进而笔者提出在音乐可视化的基础之上来添加人机交互的表现成分，让多动症儿童参与其中而非被动接受。如今较为成熟的交互技术多半是存在于触摸屏之上的，为此笔者针对触摸屏交互特点设计了点、拖拽、抛等用户手势，来多样化、丰富化人机交互的参与特点。在进一步的实验过程中发现，多动症儿童参与表现明显好转，与单纯的音乐可视化表现治疗相比，多动症儿童精力分散，烦躁等情绪状态明显好转，多动症儿童被盖区的多巴胺的释放明显，通过人机交互的设计理念，多动症儿童交互参与其中，通过多变的可视化表现手段与反馈性强的交互理念，多动症儿童病情得到了进一步的好转。（2）互动元素设计探究。在人机交互过程中音频可视化的实现需要考虑到计算机生成的图形图像设计问题、数字音乐的选择和频谱分离问题、交互音符的图形设计等。在过去，由9 北京工业大学工程硕士专业学位论文于计算机或者其他显示设备的技术限制，计算机生成的图像大都为简单的线、形状等图形，这种图形只是能够传递给用户这些图形的基本坐标信息，我们生活的绚丽多彩的客观世界几乎没有能力来展示和表现。通过近几年数字媒体技术的快速发展和图形图像显示设备的升级，真实感图像技术得到发展，RGB色相处理技术、图形显示技术相应成熟。因此，运用计算机图形学，以交互实时性和真实感受为原则，用计算机系统来表现或处理图像得到广泛应用。通过将二维图形，运用灰度、色彩、线宽等几何属性和各项元素，在视觉感官上营造出适合儿童观看的音乐场景。在视觉元素的互动设计方面，笔者研究的重点在色彩、图形元素、互动。色彩具有色相、饱和度、明度三重属性，不同的色相能够给人以不同的色彩感受，在色相环中既有红色这种让人兴奋与焦躁的颜色，又有蓝色这种给人以冷静感受的颜色，例如在平面设计中就会针对不同的受众进行色彩的选择，医院等场所多选择粉红色，淡绿色等颜色能量较低的颜色，这样能够起到安抚患者的作用，而作为购物网站，则会选择暖色系，饱和度较高的色彩，如此能够充分调用受众主体的购买欲望。暖色、高饱和度色、丰富多彩色、强对比色感觉跳跃、活泼有朝气，冷色、低饱和度色、低明度色感觉庄重、严肃。而作为本研究的受众——多动症儿童，由于他们处于成长期，对鲜艳的色彩具有较高的认同度，因此，笔者选用了多彩的色彩表现方式，以期能够获得多动症儿童的关注，较高的饱和度与明度差别，都能够较好的吸引多动症儿童的注意力。而游戏的整个背景色则采用深蓝色调，将三种不同颜色、不同形状的图形元素更好地协调在一起。扁平化的图形元素相对于拟物化的图形表现具有良好的信息传达特性，受众无需进行额外的欣赏与琢磨就能直接将色彩，运动信息传达给多动症儿童，而且就系统资源方面来考虑，其能够降低渲染资源，具有良好的显示特性。图形天然就是表达自我的有效工具，它是表达我们潜意识的一种直接工具，图形所传递的信息量远比语言丰富，表现能力更直观。在不同的图形中，矩形给人以稳健、庄严性，但也给人以呆板的感觉；三角形具有较强的不安定感，夹角越小不安定感越强；圆形给人圆满之感，引起的思想情感是柔韧感、流动感、圆滑感、健康无邪等心理变化。为了适合不同儿童的需求，笔者在对图形元素的研究中，最终选取了多种图形元素的综合应用，利用圆形、三角形和方形三种不同的元素，使得多动症儿童在使用过程中不易产生疲劳感，保持对游戏持久的关注度。在风格上采取扁平化的设计，力求视觉信息能够简单有效地传达给多动症儿10 第1章绪论童。互动方面笔者选择了多重互动的设计概念，在一定的视觉元素成型之后，外围的人机交互成为研究重点，如何更好的在界面视觉表现完成之后能够进一步吸引受众的参与就是互动的研究目标。为此，笔者尝试将显示的视觉元素，音乐元素，背景元素，多动症儿童在一个维度上进行设计表达，他们之间能够顺畅的无间断的实现信息的沟通，笔者在软件设计中，增加了图形元素与背景元素，人与图形元素、背景元素，背景元素、图形元素与音乐元素之间的互动，在互动的设计表达上，笔者研究的重点就是如何将各个环节衔接，进而对多动症儿童产生作用。在基于Flash平台提供的方法中，系统通过获取音乐音频、音高等信息，然后可视化动画效果对其进行分类识别，来进一步达到相应的视觉效果。频谱分离是音乐数字可视化过程中最重要的步骤之一，所分离数据的差异会直接导致最终音乐数字可视化的实现效果的差异。通过选取不同时间内不同震动频率的音乐，对相应频谱进行解析，将音乐的频谱的各类数值属性与我们设计的图像元素的属性（如颜色、亮度、灰度等）进行关联。当音乐进行播放时，随着时间的推进声音属性也在不断变化，对应的图像的各类属性也不断变化，由此产生绚丽多变的动画效果。(3)音乐心理作用不同的音乐是对创作者不同的内心环境的表达，同样能够给听者以不同的心理感受，这正是音乐心理学的研究重点，多动症儿童需要什么样的音乐表达，其对何种音乐更加感兴趣，笔者跳出传统制作者的制作思路，通过音乐去研究心理表达，而是通过受众创作音乐来表达他自己的心理状态，从而实现高度的生态效度——实验研究结果脱离实验室条件而真实反映常态环境。因此，在软件设计初始，笔者并没有设置任何音乐，而是等待着受众自身去触发，去表达符合他此时的心理状态，本设计基于的是受众自身的音乐想象力与音乐形式感的表达，能够在一定程度上对多动症儿童的心理产生辅助的治疗效果。1.4论文结构说明本文的研究思路是从现今儿童多动症治疗问题出发，结合儿童多动症病理相关临床经验，重点分析音乐数字可视化制作内容和交互式音乐数字可视化在儿童多动症治疗过程中的设计问题和实现方法，致力于探究提升多动症儿童注意力的音乐视觉化表现形式，进一步探讨多动症儿童的用户体验与音乐数字化的表现形11 北京工业大学工程硕士专业学位论文式之间的联系。然后，通过实践制作对于多动症儿童具有一定治疗效果的音乐数字可视化作品。最后总结研究交互式音乐医疗产业化的途径。问题初探-理论研究-实践探索-研究成果，这是本论文的总体框架。通过对儿童多动症问题的初步分析和了解，提出运用交互式音乐可视化治疗儿童多动症的问题，进一步从技术理论层次对交互式设计和数字音乐进行探究，通过实践研究交互式可视化音乐对于儿童多动症的作用途径和治疗效果，最后总结交互式音乐医疗产业化途径。本文共分为四个章节，第一章节对音乐数字可视化和多动症治疗现状进行了概述，提出以音乐数字可视化与多动症治疗为中心的研究内容。第二章则概述了交互式音乐数字可视化需求，其中包括多动症儿童的需求分析，与软件设计制作的需求分析第三章笔者根据人机交互中的设计原则与方法来阐述了音乐数字可视化作品的设计流程，阐述了具体的界面制作流程与环节。第四章笔者重点探讨了交互式音乐数字可视化制作问题和相关实践过程，包括动画以及编码实现，第五章通过对青岛大学医学院中多动症儿童的音乐数字可视化实验，调研了交互式音乐数字可视化对于儿童多动症的作用途径和治疗效果研究，同时笔者将音乐数字可视化的产业化研究做了一定程度的探讨。最终结论，笔者对通篇音乐数字可视化对多动症儿童的治疗做了一定程度上的总结，实验证明，音乐数字可视化对多动症儿童是有一定程度上的正向促进作用的，其交互性可以达到吸引多动症儿童地作用，对其症状具有辅助治疗作用。12 第2章音乐数字可视化在多动症治疗中的需求分析第2章音乐数字可视化在多动症治疗中的需求分析尽管目前国际上对儿童多动症进行了一系列的治疗研究，但是其具体的发病原因仍然没有一致的定论，初步表明其为家庭，生理，脑部，神经共同作用的结果。儿童多动症的治疗需要药物治疗与非药物治疗共同作用，作为艺术治疗，需针对多动症儿童的发病特点与治疗需求来进行针对性的研究，进而作用于软件设计。2.1需求分析在音乐数字可视化对多动症治疗的治疗过程中，软件设计的需求分析主要来自于两个方面：一者是多动症治疗方面的需求分析，此处应该侧重于多动症儿童的发病表现与沉浸性展示之间的联系来建立需求分析。二者是软件设计的需求分析，此处应该以多动症儿童的发病特点来做针对性的软件设计工作。2.1.1多动症治疗需求分析在多动症儿童的治疗中，尽管目前对于多动症儿童的发病成因尚未有明确定论，然而以情感治疗与艺术治疗的角度看，主要有如下几点的需求分析。一，沉浸性与儿童注意力分散之间的矛盾。作为多动症儿童，其主要病症是注意力溃散或集中困难。为此，软件设计的过程中应该充分考虑到如何有效吸引多动症儿童注意力，软件应该具有发泄、升华和象征化等特征，使得多动症儿童能够得到情绪上的梳理与调和。高饱和度高纯度的色彩能够很好的吸引儿童的注意力，保证良好的沉浸体验。为此软件设计界面或表现元素应该是具有良好的色度差，能够产生丰富的视觉体验。二，移动性与儿童多动之间的调和问题。面对多动症儿童注意力易分散，多动等特点。软件应该具有年龄、语言无关性，不同认知能力、不同地点环境都能很好进行表达的特点。在进行治疗的过程中应该具有操作简捷、阻抗小、易接受等特点。传统音乐在数字化手段的作用下，通过视觉的表现方式来将音乐思维与情感表达出来，摆脱传统的单一感官传达通道，转而从视听双通道进行情感表达，这与传统音乐的表达方式相比，具有良好的认知传达效果。此外，通过对移动终端的支持，能够克服多动症儿童移动频繁的特点，将会更好的作用于多动症儿童的治疗。三，音乐特征的提取与视觉表现力。如何具有创意的进行音乐特征的提取与表现成为多动症治疗视觉表现力的关键点。视觉表现力上应该具有丰富化、可变13 北京工业大学工程硕士专业学位论文性的特点。由于长期以来我们意识形态惯例的影响，我们认为用耳朵听音乐是再平常不过的事情。但科学实验表明，视觉方面的神经系统敏感性比听觉的神经敏感性更强，对于同一信息，视觉更能让人巩固信息记忆。我们听音乐不仅仅听节奏、歌词和旋律，音乐整体透露出来的意境也是很多听众在意的东西。所以说，在数字技术的前提下如果用视觉影像将音乐表达出来，不再局限于听觉感受，而是听觉视觉双重刺激，必然会更加形象生动，更能理解音乐以及作者的意境。四，互动性、可视化与注意力吸引解决方案。多动症儿童在症状表现上表现为焦躁、专注力低等问题，这就需要软件具有一定的吸引力。而良好的互动则是吸引力的关键，其要求为俩点：首先，软件界面元素应具有吸引力，能够在多动症儿童打开软件之后，快速进入情境。其次，软件具有互动性，在多动症儿童点击、滑动、拖拽等手势发出后，能够为软件所“理解”并作出反馈，我们常看到一些软件产品，在用户多次点击之后对用户失去吸引力的情况。因此在互动性中最重要的一点就是用户的各种手势都能有对应的手势反馈，进而增强了用户的探求欲望。同样，对于多动症儿童，丰富的视觉元素固然重要，同样需要合理、完善的交互解决方案。笔者充分考虑到多动症儿童的特点——注意力集中问题，为此笔者力求全方位进行交互操作的表达。笔者设计了视觉元素与音乐元素的交互，受众主体与视觉元素的交互、主体受众与音乐元素的交互，实现了所有可见的视觉元素的多方位交互操作。如此，多动症儿童的注意力要比单纯点击屏幕，计算机做出反应要复杂多样，更有利于吸引多动症儿童注意力。对于具体视觉元素的考虑设计工作，笔者选取了圆形、三角形和正方形的视觉元素。由于圆形的视觉元素对受众主体不会产生强烈的抵触感，圆形视觉元素对于受众视觉冲击力小，接受度高，具有良好的亲和性，因此大量使用圆形视觉元素。而为了缓解单一视觉元素造成的视觉疲劳感，同时加入了少量的三角形和正方形元素，提升多样性，增强多动症儿童对游戏持久的关注度，保证注意力集中时间，力图能够增强对于多动症儿童的治疗效果。同时由于音乐元素需要无缝拼接，笔者对这三种视觉元素选择了屏幕平铺的方式，分为8列6行，分别对应鼓、低音乐器等不同音色的音乐元素。同时，刷新时间定义为3779毫秒，保证了音乐元素节拍的一致性。视觉元素的丰富性能够进一步提升多动症儿童的参与热情，因此，软件的后续设计目标是将各种视觉元素进行整合，例如将多种图形、图标混合到一个场景中，从现在的内部代码生成视觉元素转变为外部调取视觉元素数据库，从而实现14 第2章音乐数字可视化在多动症治疗中的需求分析视觉元素的多样化特性，创造现实与虚拟，抽象与具象的混合表达。多动症儿童将会在视觉元素的探索上，更加集中注意力来进行发掘，因为多彩的视觉元素与现在的单一视觉元素相比具有更好的互动性与参与性。丰富数字音乐可视化表达元素成为后续研究的关键点。2.1.2软件设计需求分析作为传统的音乐具有音色，音响，音频三个要素，在数字化时代对其各个属性进行量化，然后进行重新的编排组合能够创作出跨媒介体系的音乐作品，而音乐数字可视化研究正是音乐属性的视觉化表达。传统意义上的音乐可视化，即是通常可见的音乐乐谱，而现代意义上的音乐可视化大到音乐喷泉类的装置艺术作品，小到音乐播放器上的数字音乐的图形化展示，可以说，已经渗透到大众生活的方方面面。对音乐可视化进行实践研究，同时能够结合新的作用领域是当今音乐可视化的发展途径。在本软件进行设计之初就以多动症儿童的治疗需求为基点，对软件的设计与制作提出了如下的需求分析。可视化的系统结构。音乐数字可视化是一个贯穿信息传达——认知——交互反馈的信息模型，作为传统意义上的音乐信息是不可见的，而研究表明视觉的认知程度要远远强于听觉的认知程度，对音乐的不同模块进行视觉表现能够获得丰富的视觉体验，从而对受众创造出非同凡响的心理体验。本文音乐数字可视化与多动症儿童的治疗研究正是利用了音乐的频谱这一要素来进行表现，通过对音乐频谱的视觉化表现，能够将音乐的节奏，音律等音乐元素进行可视化表达，进而对多动症儿童注意力分散的病症起到良好的辅助纠正作用。音乐感知模型的差异化。不同的音乐具有不同的情感属性，悲伤、欢快、平静，不同的音乐同样具有不同的感知模型，在进行音乐数字可视化的过程中，研究分析不同的音乐的不同的可视化表现，对于听觉艺术的视觉化研究具有重要意义，在软件设计之初就应该充分考虑到不同的音乐感知模型对多动症儿童的差异化治疗效果，所选择的数字音乐应该具有鼓声、贝斯声、人声、打击乐等不同情感的音乐元素，进而对多动症儿童的治疗产生多样化的治疗环境与治疗体验。实时计算。音乐是一门时间艺术，伴随着时间的进行，不同的音符共同表达出情感，作为音乐数字可视化作品同样应该能够实时反馈音乐属性，来进行视觉展现。在进行软件设计之初，在系统性能一定的情况下，如何快速的进行用户反馈，成为用户体验最关键的问题，为此，系统中的实时刷新函数不应添加过多，在计算机系统资源一定的情况下，添加过多的实时刷新功能在增加准确性的同时，也会造成系统臃肿，反馈变慢的情况发生。15 北京工业大学工程硕士专业学位论文沉浸感的显示。作为多动症儿童的艺术治疗手段，使其产生沉浸感至关重要，沉浸感的产生能够辅助治疗其注意力分散的病症特点。为此，音乐数字可视化作品应对其注意力实时进行吸引，显示元素应具有多样性、可变化性，以此来通过视觉元素的丰富变化吸引其注意力。交互式图形界面。作为多动症儿童的辅助治疗手段，该音乐数字可视化作品不能模仿传统的装置艺术作品，只是单纯的进行音乐的可视化反映，应该充分考虑到交互特性的重要性，让多动症儿童沉浸其中而非参与其中。因此，在实时计算音乐视觉化输出的基础上增加了人机交互的表达成分，软件应该实现的是各个参与元素的全方位互动，并且在一定程度上能够持续创造惊喜，以此来使得多动症儿童成为音乐的创作者而非音乐数字可视化作品的被动接受者。音乐作为一种听觉艺术形式，其感知过程并不仅仅是通过听觉单独完成的，研究表明，音乐的认知过程是通过视觉、听觉、触觉共同感知完成的，在数字技术快速发展的今天，音乐数字可视化成为音乐被感知的新形式，从上世纪兴起的MTV，到如今的网络电台，音乐数字可视化正在伴随着数字革命改变着人类生活。然而，在艺术治疗领域，音乐数字可视化的实践相对较少，而这正是笔者对此进行探究的原因。2.2设计目标分析在进行设计之前，要注重设计目标的确定，基于前一节所讲的多动症治疗需求分析与软件设计上的需求分析，不难得到设计目标：音乐数字可视化作品应该将听觉与视觉相结合，增强音乐的表现力同时又将受众作为音乐表现的参与者。音乐数字可视化的探索研究应该注重如下几点的设计表达。交互式图形操纵界面。通过研究如何设置可视化系统操作界面元素来控制用户通过界面进行正常的信息获取和交互行为，提高用户与系统的交互反应速度，让系统能够正常的表现出可视化效果，让用户在没有操作经验的情况下根据图形界面提示介入交互，流畅地完成人机互动操作。音乐情绪检测。通过对音乐的不同音色属性来进行分类，笔者将软件分别设计为鼓、贝斯、人声等不同的音乐表现元素，通过用户的交互参与，可以触发不同的音乐进行表现，通过对用户的触摸反馈来反映出用户在音乐上的情绪表达。然后通过音乐的可视化表达，视觉元素进行该种情绪模式下的音乐视觉化表现。受众主体的情绪特征得到了正确的表现形式展现，与此时的操作主体人物进行互动。16 第2章音乐数字可视化在多动症治疗中的需求分析音乐认知模型的提取。通过研究1~10岁儿童年龄层对音乐的认知能力，描述出儿童甚至多动症儿童对哪一些或哪一类音乐有着哪些表情和心理反应。通过提取大量儿童相似认知模型，笔者选取了对于多动症儿童具有良好吸引力的打击类、表现类音乐元素，当然，在后期的深化中，可以针对不同的儿童特点来个性化定制音乐认知模型，从而针对性的进行音乐的视觉表现。音乐视觉频谱的多动症治疗。音乐视觉频谱是对音乐情感化特征的视觉反映，在传统的音乐频谱的视觉表现中主要是通过划线，或者是柱状图的视觉表现方式来进行音乐频谱的视觉表现。其趣味性、生动性都是对音乐频谱数据的简单反映，因此对多动症儿童的视觉诱惑力不足，儿童的参与性低，治疗效果不理想。本软件的设计目标是创造一种全新的音乐频谱的视觉化反映，能够在视觉上第一时间吸引受众，而且能够诱导其参与其中，视觉元素不能仅仅是音乐频谱的反馈，而应该是能够吸引受众进行交互的音乐频谱。因此笔者在进行设计初始，都将音乐频谱的的表现形式定位于能够实现多动症儿童交互的视觉元素，在用户听音乐看频谱的同时，能够参与其中进行音乐创作，不断吸引多动症儿童参与其中，进而对其病症产生一定程度上的治疗效果。结果表明，笔者设计的音乐频谱在治疗研究中，对多动症儿童的确产生了一定程度上的行为修正与辅助治疗作用。2.3软件设计遵循的原则在进行软件具体的设计操作过程中，基于音乐数字可视化对多动症儿童的治疗分析和软件的设计目标，应该把握如下几点原则。1.特征提取的针对性原则。数字音乐拥有丰富多样的信息特征。在特征提取中，应该把握针对性的原则，即数字音乐的某一特征应该与多动症儿童的性格特征进行针对性的治疗。因为受众的主体为多动症儿童，因此，如何将抽象的数字音乐数据进行特征表达，同时又能被多动症儿童所接受是研究的重点。为此，笔者选取音乐中的音量数据来进行表达，一方面是由于音量数据表达的便捷性，进行可视化表达后，普通受众易接受，另一方面，针对多动症儿童冲动、不安分的特点，音乐中的音量所反馈的动画表现能够很好的符合这一特点，从而使得多动症儿童在试用之初就能够与其性格进行良好的衔接。在特征提取过程中，需要注意数字化音乐是由一系列振幅、音高等元素组成，都有一些数字化规则约束。情感研究学者们证明音乐是可以通过声音表达情感的，所以对于一些听不懂音乐或者不懂交响乐、小提琴演奏的人来说，他们也能够感知到音乐中的一些潜在的音乐情感变化，同时听者内心会做出相关的情感反17 北京工业大学工程硕士专业学位论文应。所以我们通过了解和掌握音乐这种规则属性，然后再借助这种属性进行数字化“翻译”，就能够得到我们所需要的情感特征。对数字音乐的情感特征的分析与提取都会对作品最终显示结果起到很大影响。例如WindowsMediaPlayer播放器自带的特征规则在播放音乐时提取采样点的波形、音高等数据，就是波形均值在一定程度下律动的结果。著名音乐数字化研究者MartinGasser曾经提出过一种特征可视化方法，数字音乐时域上将音乐信号的振幅对应成可视化效果，或在频域上将频率对应成可视化效果。笔者的音乐可视化手段中特征提取，则是利用了音乐的音高信息来进行数字化反映，从而将音乐特征进行视觉化展现。因此数字音乐特征提取中，我们需要把握好数字音乐属性与视觉化表现特征还有受众主体的情感特征相对应的针对性原则就能够得到一定程度上的治疗效果。2.情感检测的及时反馈原则。音乐作为一种多媒体形式通过刺激人的耳中枢神经发挥着一对多的传输作用，表现着多种信息数据，其中重要的便是情感信息。在MINI情感环模型提出者Hevner的研究中，通过对音乐情感表达的重点探究，表明音乐本身就会表达[5]感情。在音乐数字可视化的设计之中，在用户充分了解了软件的操作功能与架构之后，如何让用户不产生厌恶感，并能沉浸其中，重要的就是要把握情感检测的及时反馈，在音乐数字可视化的实施过程中，应该通过用户自我的行为特征：点击、拖拽等动作，通过软件表达出用户此时的情感特征，为此，笔者选择了鼓声、贝斯声、人声等多种数字音乐音效来进行混合表达，用户参与其中可以自主混搭出各种组合音效，进而将用户的情感进行及时的反馈。多动症儿童的发病成因，其中一点可能是，自我价值共鸣的缺失。因此在进行软件操作的过程中，把握住情感检测的及时反馈，能够使得软件操作之后的试听体验与多动症儿童产生共鸣，进而使多动症儿童沉浸其中，从而在一定程度上获得治疗效果。3.动画模拟的真实性原则图形动画是计算机图形图像学和艺术设计学相互结合的产物。通过对计算机软硬件科学、数学、物理学、艺术学等学科的综合运用，在计算机或其他数字设备上生成丰富多彩的动画画面。对于音乐数字可视化而言，动画的开始状态与结束状态即是音乐的不同数值之间的改变造成的。在笔者的音乐数字可视化实验中，笔者将音乐的频谱信息反映到图形元素的初始动量上来，然后让图形元素呈现出一个竖直上抛，并且具有弹性效果，音乐的改变造成动画的波动形成改变，18 第2章音乐数字可视化在多动症治疗中的需求分析进而反映出音乐本身的情感色彩。同时多动症儿童不仅能够参与音乐的表现过程，同时能够创造音乐的表现过程，通过用户手势的设计，多动症儿童能够通过图形元素来创造交互动画，进而创造出具有个性化的音乐表现形式。2.4本章小结本章从多动症治疗的需求分析与软件设计的需求分析出发，进而提出软件的设计目标与所要遵循的原则。由于多动症儿童与普通的治疗受众相比尚有一定的特殊性，首先，就他们的年龄来说，其对事物的判断能力要求软件的设计要遵从其特点来进行设计与工作。其次，由于多动症儿童的特殊性，软件的参与性、沉浸性成为关键。数字音乐作为数字技术产品，在数字媒体艺术发展过程中，体现出的美轮美奂的图形图像元素，依然是人们对美的追求和向往的延续。这种可视化表达不仅有利于增强声音播放的视听效果，同时也能可视化地体现声音的旋律感，增强人们对于声音变化的感受。音乐在情感表现上的巨大潜力，必将为多动症的治疗提供一系列新的发展思路。19 北京工业大学工程硕士专业学位论文20 第3章音乐数字可视化在多动症治疗中的设计第3章音乐数字可视化在多动症治疗中的设计音乐数字可视化作品的设计环节主要涉及到三维模型的制作与显示界面的制作，笔者选取了maya制作的卡通人物与flash制作的显示界面，在整体的视觉风格上偏向卡通风格，能够引起多动症儿童的亲切感，通过导出动画帧序列来表现人物的运动，同时通过人物的跑动来做加载动画等，都体现出软件设计的人性化考量，软件界面设计采取了三维动画与二维视觉元素相结合的方式，能够增强趣味性，对多动症儿童的治疗产生正向的积极作用。下面笔者将详细介绍软件设计中的设计思考与设计制作过程。3.1设计思考一致的整体风格。整体一致的风格，不仅包括颜色搭配的统一，同时字体布局都要统一。以用户为中心的设计理念是人机交互界面中首先要思考的问题，软件的主体为多动症儿童，因此，笔者选择了卡通画的设计风格，Flash作为传统的二维动画设计软件，具有良好的视觉与动画表现力，因此，笔者选择了Flash来进行场景的绘制。同时，音乐数字可视化部分，由代码生成了二维元素，背景，色彩均是基于Flash框架之下的，因此，不会让多动症儿童在进行交互的同时产生错愕的感觉。为触摸而设计。在人机交互的过程中，用户的习惯性、经常性的手势成为软件设计之初应该思考的问题，在通常情况下，用户有点击、拖拽、滑动等一系列已经是习以为常的手势动作，作为人机交互软件应该充分的考虑到这些设计要素，笔者的音乐数字可视化作品在人机进行交互时，用户可以利用点击、拖拽、多点触摸等方式来与软件发生作用，让多动症儿童能够自然衔接现实世界，进而产生沉浸体验。操作易学性。复杂的帮助说明虽然能够给用户以软件使用提示，但作为多动症儿童而言，其文字的阅读能力远远不及普通受众，为此，设计简单易用的按钮，单色的页面将减少多动症儿童的操作负担。在音乐数字可视化界面中，即使多动症儿童随便点击，软件同样能够按照预先的设定，播放定频的数字音乐，进行规律的可视化展示。简洁而不简单。清晰的界面，简洁的感觉能够让用户快速的进入操作状态，但展现的效果应是丰富多彩的，在软件加载页面，可视化展现页面，用户看到的是人物的运动，图形元素的运动，但是背后加载机制，频谱分析机制却是不为用户所见的。21 北京工业大学工程硕士专业学位论文3.2软件美术设计与动画制作3.2.1软件三维模型设定与制作在进行三维人物制作的过程中，笔者选取了当下流行的三维制作软件Maya，然后利用Maya导出3DMax模型，在3DMax中进行模型的动画控制，期间笔者利用DirectDrawSurface进行模型贴图材质的制作，利用手绘板来确定人物动作动画。笔者利用Maya进行了人物的初始建模，利用Maya其中的圆球模型，来通过对节点的调节，获得人物面部的主要形状。然后在人物面部下部进行节点的调节，通过扩张工具来拖拽出一个长方体，进行后续身体的绘制。分别利用割刀工具对人物的身体部分进行切割，利用扩张工具进行各个部位的延长，就得到初始的人物模型。在模型制作完成的初步阶段，人物模型是菱角生硬的，然后需要进行圆滑处理，进而形成了如图3-1的状态。图3-1初始人物模型Figure3-1OriginalModel在对人物模型进行了圆滑处理之后，然后笔者进行了人物贴图的制作，利用Maya外载插件Unfold3D进行贴图操作。将对应的Maya节点附着上材质的对应表现区域，先将建好的模型分别导出成OBJ格式的文件，然后导入Unfold3D软件，将导入的OBJ模型在适当的部位进行切割，然后展开，导出图片存档。最后将存档的图片导入Maya软件中。当Maya进行材质反馈，能够索引到当前的颜色。22 第3章音乐数字可视化在多动症治疗中的设计图3-2UV展开图Figure3-2UVpicture图3-3UV贴图Figure3-3UVoutpicture人物进行材质贴图之后，笔者对其进行了骨骼绑定，笔者从人物胯骨处开始建立初始骨骼指点，然后对其全身进行骨骼的绑定与骨骼控制范围的调整，在骨骼控制的过程中，通过笔刷对于各个形体模块进行权重比对，这使得后来的人物动作制作的过程中能够准确反映各骨骼对于某段肢体的控制百分比，笔者考虑到未来人物动画的需求，给骨骼添加控制器，通过对于控制器的控制运动来进行人物的运动绑定，控制器选择与搭配对于后期的动画调节至关重要，在后期3DMax中的关键帧实际上是通过对于控制器位置角度的控制来反映到骨骼的运动控制之上，同时通过权重的匹配来反映到人物的整体模型上来。在对控制器进行动画控制的过程中人物得到了运动反馈，从而在各个关键帧之间得到参数的变化，进而描述人物运动。23 北京工业大学工程硕士专业学位论文图3-4人物控制器绑定Figure3-4charatercontrollercontrol人物进行控制器绑定之后，在3DMax中进行动画的控制与衔接，主要参考前期手稿，来进行动画的反馈操作，然后进行3DMax渲染，将渲染的序列图保存为.tga格式，然后笔者利用Photoshop的批处理命令来进行批量的格式转换与抠图操作，因为在初始的.tga格式转换带着原始的底色，因此笔者进行了抠图的操作，然后将动画序列帧导入FlashProfessional中进行进一步的制作。三维动画人物具有虚拟性、互动性的特征，其舞动、跑步等动作都能够给予多动症儿童现实联想，从而消除人物与多动症儿童之间的心理隔阂，进而增加了软件的沉浸性表现。由多动症儿童的心理干预治疗笔者了解到，由于多动症儿童缺少人性化的关怀与关注，外部错误的引导方式导致多动症儿童在进行多动行为时获得的是批评与纠正，反而造成他们更想要做出一些举动来吸引注意力。因此，合理的互动而非压制是治疗多动症儿童病症的关键，人物的互动与虚拟性能够良好的调动多动症儿童的节奏感与兴趣点，进而在一定程度上使其产生积极的情感反馈，合适的背景音乐与跳动的人物动作，都是三维虚拟人物带动多动症儿童，进而产生艺术治疗的手段和方法。基于音乐可视化的三维角色动画虽不是本文的研究重点，并且在目前的音乐可视化场景中加入三维角色会打破之前设计的连贯性与一致性原则。但是将三维角色的虚拟沉浸性与音乐频谱相结合，然后做出合适的人物动作将成为未来音乐数字可视化的发展方向，与多动症儿童的心理预期将更加相近，具有更高的治疗24 第3章音乐数字可视化在多动症治疗中的设计实验价值。在此处笔者只是对其进行了最初步的探讨与研究，后续研究将会侧重于角色动画的音乐可视化反映对多动症儿童的治疗研究上来。3.2.2软件界面设计与制作笔者选取flash的描线工具将要绘制的场景进行线稿绘制，作为整体软件开始场景的背景图片，选取舞台尺寸为1024*600，其为主流手机终端的网页制作标准尺寸。然后利用线条工具与选择工具交替进行绘画整体场景。图3-5Flash线稿绘制Figure3-5Flashgraphicsdrawing在对主体界面进行了线稿绘制之后，笔者选择颜料桶工具来进行色彩的填涂，然后将原来的线框选择去除，添加按钮，同时在对应的类文件中添加按钮控制代码，能够对应不同选项，进行不同视觉元素外部程序的载入。图3-6Flash主界面绘制Figure3-6Flashmaininterfacedrawing笔者将方形元素与圆形元素对应的不同音乐数字可视化程序放置于文件目录下，利用flash.desktop.nativeapplication包中的系统程序调用类来进行对应的程序调用，分别对应两个按钮的不同点击事件，在进行载入的过程中，利用人物的跑动来代替传统的加载百分比，这样克服的传统的加载数字，从而对信息进行可视化显示，从一方面对多动症儿童具有良好的视觉亲和性，另一方面人物的运动也能减缓受众等待的焦急情绪。25 北京工业大学工程硕士专业学位论文图3-7Flash加载界面绘制Figure3-7Flashloadinginterfacedrawing至此，整体的界面设计与动画制作已经准备完成。笔者在整体的设计中交叉使用了二维软件建立场景与三维软件创建人物。采用的均为卡通风格的制作手法，对多动症儿童具有一定的亲和力。3.2.3音乐数字可视化视觉元素的设计实现针对主体内容的视觉元素，笔者分别设置了圆形与圆角矩形俩种元素来进行表现。由于视觉元素的尺寸与颜色的随机性要求，如果按照传统的flash制作方式利用工具来分别进行绘画会消耗大量的制作时间，因此，笔者选择程序进行随机生成，其中的关键是Math.random()函数的使用，其在0到1之间进行随机数选择来生成不同尺寸的视觉元素，对于颜色的随机渲染同样也是由这个函数与transform.colorTransform俩者共同作用，需要指出的是，对于颜色的随机选择是由于后期利用transform类的colorTransform来随机变色，而非元素本身的生成颜色，这在第4.2.1节有详细的代码论述。对于圆形视觉元素的生成代码如下：varcir:Shape=newShape();cir.graphics.beginFill(0xffffff);cir.graphics.drawCircle(0，0，50);cir.graphics.endFill();this.addChild(cir);如此则生成了一个基点位于0，0，半径为50px的圆形元素，在后期对其进行变形与变色操作，即舞台上跳动的圆形视觉元素。同样对于圆角矩形视觉元素也是同样，只是其中的graphics函数进行的操作是drawRoundRect操作。圆角的视觉元素的心理冲击弱，易于被多动症儿童所接受，具有良好的视觉亲和力。26 第3章音乐数字可视化在多动症治疗中的设计3.3本章小结本章就软件应用的具体设计过程进行了阐述，从界面设计的需求点到软件制作的美工、动画设计等方面进行了阐述，笔者在进行制作的过程中不仅通过查阅资料得到了技术水平的提高，同时了解到多动症儿童的内在治疗关键所在，即图形、动画的有机结合，才能创造沉浸性的用户体验。笔者选择Flash来进行二维动画的设计与制作，选择Maya与3DMax结合来创作三维人物，进行人物的模型制作，材质贴图，以及动画设定。本章所讲述的设计工作均为下一章音乐数字可视化在多动症治疗中的实现打下基础，下一章将具体讲解代码的编辑与程序的实现工作。27 北京工业大学工程硕士专业学位论文28 第4章音乐数字可视化在多动症治疗中的实现第4章音乐数字可视化在多动症治疗中的实现本章将主要阐述交互式音乐数字可视化项目的制作以及对于多动症的治疗研究，AdobeFlashProfessional拥有良好的动画基因，对于儿童的视听作用良好，笔者利用ActionScript3.0来进行编程，表现音乐的内在精神诉求，进而对多动症进行一系列的物理治疗探求，在最终发布的过程中，笔者选择AdobeAir平台来进行产品的发布操作，AdobeAir具有良好的跨平台性，在设备中安装AdobeAir后，应用软件能够实现一次开发，实现运行的良好特性，减少了开发的成本。在本文对于音乐数字可视化设计的过程中，通过ActionScript3.0，对计算机本地存储的.mp3格式音频进行频谱解析，将数据存储后通过计算机语言反映给计算机生成的图形样式，控制图形样式一系列的运动或者形状改变，以此来将计算机频谱反映到前端界面元素上来，通过图形图像的变化和角色的动画形式激发多动症儿童的兴趣并提升其吸引力。同时，通过触摸屏等介质，多动症儿童参与其中，通过点击触摸屏，触发一定频谱的音符或图形，然后参与到背景的数字音乐之中，形成计算机与人的交互。在ActionScript中针对数字音乐的提取工作主要涉及的几个相关类为Sound类，SoundChannel类，SoundMixer类，数字化的音乐表现形式多将音乐的频谱通过计算机二进制流来进行表示，其在计算机中突破了传统的模拟音乐的表现形式，从而将音乐的各种属性可视化、可量化，通过SoundChannel来获得数字音乐的左右声道数据，来反馈给Sound类进行操作，然后通过SoundMixer类来将音乐频谱信息实时传送压缩入一个byte数组，通过对数组中数据的实时刷新，从而将其中的数据以舞台宽度为标准进行映射，这就获得了音乐数字可视化的数据原型，通过对数据的解析与图形图像反映，进而创作出音乐数字可视化的表现形式。实际上，作为面向对象的编程语言其作用机理都是一致的，音乐数字可视化的数字化方法都是通过对数字音乐的频谱的数据信息进行实时整理与刷新，然后通过其数据反馈已经生成的图形图像，或者是通过其数据来改变图形图像的色相、饱和度和明度属性进而创作出音乐的图像化反应，从而创造出音乐数字可视化效果。对于实现交互式音乐数字可视化，本章应用flash自带脚本语言进行编写。Flash脚本语言中有多个控制声音的类，访问声频数据是ActionScript3．0新增的特性之一。29 北京工业大学工程硕士专业学位论文Adobeflash技术上支持mp3、wav、aiff文件类型，可以把多种类型的数字音乐文件导入到Flash应用中。对于MP3格式的声音文件，通过不完全的解码可以得到基础频谱特征。获得当前帧频率后，就可以通过变换得到相应的频率值，然后运用算法和图形图像实现需要的频谱可视化。Actionscript3.0中的音频处理不同于Actionscript2.0，它是独立的。通过多个类共同使用来实现音频的处理，功能细化到对应的类中。Soundmixer类主要对声音进行频谱可视化分析，其中的SoundMixer.computeSpectrum()可对当前所选取数字音乐的波形数据进行快速抓取，所得的数据存入ByteArray类型的二进制数组中，之后运用同样的方式得到不同时段多组音乐波形数据，然后通过设计图形算法，描绘出一个动态播放效果。ByteArray作为一种参数，其得到所播放音乐的帧的数字样本范围在-1．0到1．0间，所抓取快照中每个通道取256个值，长度为2048个字节，512个浮点数。最后通过获取音乐的原始数值，将编程与艺术相结合，实现对声音的交互可视化表达。音乐数字可视化是将音乐看做是一种数据信号，将信号进行处理来反映声学特征。Sound类负责创建、加载和播放声音。sound类主要用于描述音频数据。使用sound类创建音频的方式包括运用库中元件创建，库中音频元件是sound类的[6]子类。还可以通过外部加载音频来创建。Soundchannel类用于表现声音的左右通道。对声音的状态描述从描述声音数据的sound类中分离出来。当调用sound类的play（）方法时，声道被系统自动分配并回放音频，当停止播放时，声道被自动收回。Soundtransform类用于控制声音的音量和平移。Actionscript3.0中的microphone以及soundmixer都能够通过Soundtransform来调节声音效果。此类的属性能够接受数值或数值表达式来表示音量和位置。4.1交互式音乐数字可视化制作难点分析在交互式音乐数字可视化的制作过程中，突出的难点主要表现在以下几个方面。首先，如何将音乐频谱通过图形图像，创意性地反应出来。其次，对于艺术形式的研究与多动症的治疗反映。笔者分别针对上述的两者问题进行了一系列的实验与研究。4.1.1音乐频谱的图像化反映笔者选取ActionScript3.0中的SoundMixer类做音乐数字可视化相关技术30 第4章音乐数字可视化在多动症治疗中的实现概述，SoundMixer类包含了swf文件中全局声音控件的静态属性和方法。SoundMixer类控制swf中嵌入的声音流，它并不控制动态创建的Sound对象，其中SoundMixer的computeSpectrum公共方法，能够获得当前声音波形的快照，并将其放置在指定的ByteArray对象中，由于创建的ByteArray对象大小固定为512浮点值，其中前256表示左声道，后256表示右声道，因此可以通过对于数组的不断刷新来反馈出当前的声音波形值，通过对于波形值的解析，能够获得声音波形的原始数据，作为音乐数字可视化的初始步骤，对于声音数据的原始解析，将是图形图像反映的第一步。针对传统的音乐频谱，多利用线来进行反映。传统的音乐频谱连线已经无法再触及到儿童的兴趣点，对多动症儿童的治疗也会收效甚微，为此笔者研究了ActionScript3.0的显示对象，利用多元化色彩绚丽的作用模式才能够更好的作用于儿童的视听神经，如何将音乐频谱与多元的色彩表现相结合，同时要符合音乐数字可视化的初衷，笔者进行尝试的是利用图形表现较好的视觉元素——圆，同时尝试利用Math.random()函数来紊乱色彩，进行多元化表现，笔者创意性地将波谱的力反映到圆形的运动上来，然后通过计算机模拟重力的算法来进行圆形上抛的动画制作，使得画面充满活动性与跳跃性，如此将充分吸引儿童的注意力，起到一定程度上的治疗效果。publicvarbyteArr:ByteArray=newByteArray();publicfunctionpl(e:Event):void{SoundMixer.computeSpectrum(byteArr，true，0);}计算机将读取的频谱信息读取到byteArray字节数组之中，然后通过圆形图形元素的检测，当大于一定的阈值时，获得初始值，进行跳跃动画。跳跃动画的初始动量就是此时获得的byteArray中的对应数值，在竖直上抛的过程中，利用时间刷新函数对该数值做递减操作，当减少到0之后继续递减将进入反向运动，就是受众看到的下落过程。this.addEventListener(Event.ENTER_FRAME，cir_x_pos);publicfunctioncir_x_pos(e:Event):void{if(byt_arr.bytesAvailable>0){if(tiao_boo==false){varx_int:int=(this.x/stage.stageWidth)*2048;31 北京工业大学工程硕士专业学位论文mus_init=-byt_arr[x_int]*0.1;tiao_boo=true;}else{mus_init+=gra;this.y+=mus_init;if(this.y>=stage.stageHeight-this.height/2){this.y=stage.stageHeight-this.height/2;mus_init*=bounce;if(Math.abs(mus_init)<=0.5){mus_init=0.0;this.y=stage.stageHeight-this.height/2;tiao_boo=false;}else{}}else{}}}else{}}在图形元素掉落的时候，通过对反向变量的不断衰减，即代码中的mus_init=-byte_arr[x_int]*0.1，每次衰减为原来动量的10%，进而在一定次数的衰减之后，重置图形元素位置。如此数字音乐的波谱就通过圆形图形的跳跃来表现出来，伴随着数字音乐的混搭，表现出来的情感程度可以随着受众自身的情感变化进行改变，对应的视觉体验同样也可以得到反馈，从而促使受众的沉浸性体验，促发多动症儿童的注意力主动参与，积极反馈。4.1.2艺术形式与多动症治疗如何以较好的艺术形式来进行多动症治疗，成为该研究的另一个难点，首先，笔者从多动症儿童的发病根源出发，多动症的发病表现为注意力不集中，极易分散，情感投入低，在病理上的表现为大脑额叶发育异常，同时小脑部分有非正常性的兴奋，针对上述病理特征，笔者发现只有进一步拉近应用与受众距离，充分发挥应用交互的特性，让受众无间隙的参与游戏，才能够得到良好的治疗效果，在应用交互上，笔者认为只有儿童持续发现应用新功能才能够充分吸引用户，为此，笔者打破传统音乐视觉化只有依靠外置音乐来表现的方法，转而研究利用统一风格，不同音色的数字音乐来进行展现，为了增加受众的交互性，同时要用户参与创作，笔者将不同音色的数字音乐转换成统一色调不同明度的色调来作为背32 第4章音乐数字可视化在多动症治疗中的实现景色彩，同时通过用户的点击来进行触发。软件的每一个色块下实际上都对应了素材库中一种音色的乐器，当然素材库中每一列的乐器为同一类，这样就能够实现类别到音色的分类，在多动症儿童触发的时候，一列只能同时触发一个对应的数字音乐来循环，如此，在多列同时点击的情况下，就能够混合出多种不同组合的乐器混搭的效果，进而吸引多动症儿童不断的参与其中，从一个侧面上来进行辅助治疗。图4-1交互音乐数字可视化界面Figure4-1InterfaceofInteractivemusic截图从左到右分别是前三列为贝斯，中间两列为鼓点，最后三列为混搭乐点，多动症儿童在进行参与的过程中能够创作的是具有个人主观色彩的交互式音乐数字可视化作品。通过一系列的行为矫正，多动症儿童会增强对于事物的参与热情，同时伴随着生理结构的变化。交互式音乐数字可视化的关键点如下：publicfunctioninteractive_music(w:Number，h:Number，ran:Number){mov.graphics.beginFill(0x000000+ran*4.5，1);mov.graphics.drawRect(0，0，w，h);mov.graphics.endFill();this.addChild(mov);music_int=ran;varinter_music:URLRequest=newURLRequest("xml/interactive_music.xml");varmus_loa:URLLoader=newURLLoader();33 北京工业大学工程硕士专业学位论文mus_loa.addEventListener(Event.COMPLETE，mus_act);mus_loa.load(inter_music);if(music_int>=30){this.addEventListener(MouseEvent.CLICK，mov_norepeat);}else{this.addEventListener(MouseEvent.CLICK，mov_repeat);}}在页面上平均布置具有蓝色色调色差的背景方块，通过用户点击获得不同音色的电子乐音，乐音通过对于ByteArray数组的不断刷新实时反馈给舞台上已经生成的圆形图形元素，而后控制图形元素的运动，绚丽的画面效果将会对于多动症治疗以良好的辅助作用。图4-2交互音乐应用运行截图Figure4-2Screenshotofinteractivemusic4.2交互式音乐数字可视化制作探讨与实践研究按照面向对象的编程原则，笔者分别设定音乐对象，圆形元素对象，背景数字音乐对象，舞台对象，然后通过多动症儿童的一系列操作来获得画面反馈，下面笔者将详细介绍制作编码过程。4.2.1音乐频谱的视觉元素反映在对音乐频谱进行了左右声道的频谱数据解析之后，笔者将解析数据反映到舞台，之后反映到舞台视觉元素的运动上来，同时为了增加视觉元素的趣味性，笔者将视觉元素与人视觉元素及背景音乐素材进行交互，使得背景音乐素材具有开关属性，视觉元素的位置经过即为音乐开关，将音乐频谱进行视觉反映，同时34 第4章音乐数字可视化在多动症治疗中的实现增加了交互环节，下面是具体的编码。背景音乐对象编码：publicvarmu:music=newmusic();mu.init();初始化音乐对象，其中音乐对象通过加载外部的xml来进行背景音乐的索引操作。varmusic_url:URLRequest=newURLRequest("xml/music.xml");varmus_load:URLLoader=newURLLoader();mus_load.addEventListener(Event.COMPLETE，newMusCom);在程序一开始，背景低音不断重复播放，烘托气氛，促使多动症儿童进行参与。同时不断侦听音频波谱，实时将音频波谱写入byteArray数组之中。addEventListener(Event.ENTER_FRAME，pl);publicfunctionpl(e:Event):void{SoundMixer.computeSpectrum(byteArr，true，0);}圆形图形元素对象编码在初始化了背景音乐对象之后，需要对圆形图形元素对象进行初始化，生成在舞台，同时利用Math.random()函数来进行随机变色操作，计算机随机生成的颜色带有一定程度上的客观色彩，同时因美感要求，对圆形图形元素的大小进行改变，创造视差，将其统一生成在舞台的底部，如此能够与音频波谱相结合，创作符合视觉习惯的音频波谱表现形式。for(vari:int=0;i<400;i++){varcir_1:Circle=newCircle();cir_1.scaleX=Math.random();if(cir_1.scaleX<=0.5)cir_1.scaleX=0.5;cir_1.scaleY=cir_1.scaleX;cir_1.x=stage.stageWidth*Math.random();cir_1.y=0;35 北京工业大学工程硕士专业学位论文vars:ColorTransform=newColorTransform();varm:uint=0xffffff*Math.random();s.color=m;cir_1.transform.colorTransform=s;stage.addChildAt(cir_1，1);cir_1.byt_arr=mu.byteArr;cir_1.y=stage.stageHeight-cir_1.height/2;cir_1.name="circle"+i.toString();cir_1.addEventListener(MouseEvent.MOUSE_DOWN，cir1_down);arr.push(cir_1);}图4-3图形元素随机排列Figure4-3Graphicelementsrandomlyarranged不同色彩的圆形表现能够给多动症儿童友好的视觉体验，不会产生排斥心理，对于进一步吸引儿童参与具有良好的视觉吸引力。在用户点击之后，触发背景层上的数字音乐，然后通过圆形图形元素自身的检测来进行初始值反馈，进而产生运动，具体代码在3.1.1节已经重点论述。同时，由于交互特性的需要，笔者设置了圆形元素与背景数字音乐元素同样具有交互作用，首先用户拖拽下方没有收到频谱响应的圆形元素，进行拖拽，抛出，能够模拟真实的重力下落效果，然后其经过的路径将会触发背景数字音乐元素的响应，进行播放，从而实现了圆形图形元素与数字音乐之间的交互，其具体的实现如下：for(varnteractive_num:int=0;interactive_num=30){mov_norepeat1();}else{pan_mus_dou();}}else{jian_peng_boo=false;}}else{}}碰撞的圆形图形为MovieClip参数，然后通过jian_peng函数传递进来，进行碰撞检测以及信号反馈。在进行响应时，主要是通过播放对应的频谱音乐和颜色的快速变换来进行的。privatefunctionchan_color():void{color_uint=setInterval(chan_color_quick，200);}privatefunctionchan_color_quick():void{varm:uint=0xffffff*Math.random();s.color=m;this.transform.colorTransform=s;}舞台对象：37 北京工业大学工程硕士专业学位论文舞台对象主要是控制总体对象的通信与协调工作，进行元素的初始化操作，首先在舞台上生成对应的实例元素，然后进行交互操作。对于数字音乐对象的生成代码如下：for(vartri_num:int=0;tri_num<48;tri_num++){pos_y=(tri_num%6)*(stage.stageHeight/6);pos_x=tri_num/6;pos_x*=(stage.stageWidth/8)varhigh:Number=stage.stageHeight/6;varwide:Number=stage.stageWidth/8;varinteractive_mus:interactive_music=newinteractive_music(wide，high，tri_num);interactive_mus.x=pos_x;interactive_mus.y=pos_y;interactive_mus.name="music"+tri_num;stage.addChildAt(interactive_mus，0);交互式音乐数字可视化作品充分发挥交互特性，多动症儿童能够得到良好的交互体验，实现了人-数字音乐-图形元素的各个环节的互动。在具体的实践过程中，无论是在PC机或者触摸一体机亦或是手机显示器上，都能够得到良好的受众吸引，对多动症儿童同样得到了一定的效果，笔者深入走访青岛市孤儿院，对其中的多动症儿童进行了一定程度的交流，实际作用得到了肯定。4.2.2视觉元素的交互反馈在多动症儿童与视觉元素进行交互的过程中，主要有点击、拖拽、抛出等交互手势定义，笔者选用了ActionScript3.0中的MouseDown、CLICK、MouseUp等事件来进行模拟。在circle.as文件中this.addEventListener(MouseEvent.MOUSE_DOWN,chase);functionchase(e:MouseEvent):void{38 第4章音乐数字可视化在多动症治疗中的实现this.removeEventListener(Event.ENTER_FRAME,ping_act);this.removeEventListener(Event.ENTER_FRAME,cir_x_pos);this.addEventListener(Event.ENTER_FRAME,pos_mou);this.addEventListener(MouseEvent.MOUSE_UP,stop_chase);stage.addEventListener(MouseEvent.MOUSE_UP,stop_chase);}通过增加mousedown移除之前注册的音乐频谱侦听事件，同时增加追随手指坐标改变的ENTER_FRAME事件，这样便实现了交互元素的手指追随操作。在抛出手势的定义中，通过检测最后时间段中手指移动的距离，来定义抛出力度与角度。functionstop_chase(e:MouseEvent):void{this.removeEventListener(Event.ENTER_FRAME,pos_mou);thro();stage.removeEventListener(MouseEvent.MOUSE_UP,stop_chase);}functionthro():void{varposX:Number=posX_arr[posX_arr.length-2];varposX_sub:Number=posX_arr[posX_arr.length-1];varposY:Number=posY_arr[posY_arr.length-2];varposY_sub:Number=posY_arr[posY_arr.length-1];posX_dis=(posX_sub-posX)*1;posY_dis=(posY_sub-posY)*1;this.addEventListener(Event.ENTER_FRAME,pao_action);}4.2.3软件的整合与发布在进行了内容主体制作之后，笔者进行了软件的整体包装与功能添加模块，利用AdobeFlashProfessional中的相关工具绘制图形背景，利用Maya来制作3D人物模型以及动作。主体界面绘制与程序载入39 北京工业大学工程硕士专业学位论文对于调用主页面的程序主要集中于对于外部程序的调用上，声明File实例对象，然后对File实例对象解析路径，新建NativeProcessStartupInfo对象，然后新建本地线程，利用本地线程启动对应路径的系统应用程序。嵌入Air程序包的应用程序与本地访问的应用程序在程序索引路径上存在差异，在本地访问的程序包路径可以是相对路径，但是嵌入了程序包的Air应用程序则需要加上app:/前缀来进行对应的应用程序索引。varmyfile:File=File.applicationDirectory;myfile=myfile.resolvePath("app:/cir_fir/bounce.exe");varnativeProcessStartupInfo:NativeProcessStartupInfo=newNativeProcessStartupInfo();nativeProcessStartupInfo.executable=myfile;varyourprocess:NativeProcess=newNativeProcess();yourprocess.start(nativeProcessStartupInfo);通过上面的程序加载，主程序可以加载用户选择的对应应用程序来进行展示，这主要集中于方形的元素与圆形的元素的展现上，通过不同的选择来进行不同的视觉展现。在软件制作步骤完成之后，进行软件的发布是最终成型的过程，在进行发布的同时，笔者为了使软件能够进行跨平台开发成为可能，选取了AdobeAir平台进行产品的发布，AdobeAir作为Adobe公司flash平台在移动终端的替代产品，具有跨平台的优良特性。在设备运行上由于嵌入了Air，运行时，同样具有良好的性能表现，但同时，我们发现Air对于计算机内存资源的消耗不可小觑，与同样能够跨平台的html5资源消耗仍然是其一大难题，但我们看到了air对于计算机硬件访问性能要优于html5。笔者选择Air进行发布首先进行了证书的创建，然后通过对于时间戳的允许使用，使得软件的时效性得到了保证，通过选择AirforAndriod使得发布的作品能够运行于安卓平台之上。同样，在发布时通过选择AirforDesktop就可以发布到PC，通过AirforIOS就可以发布到IOS系统中，这也是AdobeAir能够实现一次开发到处运行的原因，其实均是由于在软件安装的同时，事先安装了AdobeAir运行时，这类似于Java运行时，为软件调用底层的硬件功能做了铺垫。40 第4章音乐数字可视化在多动症治疗中的实现图4-4Flash发布面板Figure4-4Flashpublishpanel4.3本章小结本章就软件应用的具体制作过程进行了阐述，从软件制作的难点到软件制作的编码、发布，程序衔接方面进行了阐述，本章侧重于技术要点的阐述，主要运用到的是ActionScript3.0中的Sound，SoundMixer，SoundChannel等类的操作，同时通过shape来进行绘画，从而依托程序来进行编码绘画。进而笔者总结了发布过程以及外挂程序调用的程序。41 北京工业大学工程硕士专业学位论文42 第5章音乐数字可视化在多动症儿童治疗中的测试第5章音乐数字可视化在多动症治疗中的测试在完成了软件的多次设计与改良工作之后，2014年中旬笔者前往青岛大学医学院与这里的多动症儿童治疗医师共同开展了一系列的软件测试与多动症治疗的实验。在治疗的过程中，笔者选取了两组患者进行对照实验，一组接受了笔者音乐数字可视化作品互动操作，另一组则没有接受，同样进行着传统的情感辅助治疗与部分药物治疗，在一段时间之后，笔者得出了较好的结果——音乐数字可视化的艺术治疗对多动症儿童具有一定程度上的辅助治疗效果。5.1音乐数字可视化对多动症的作用途径与治疗效果交互式音乐作品对于多动症儿童的作用途径是多元的，主要是诉诸于视觉与听觉，进而促发多动症儿童的参与、互动，从而取得一定的治疗效果。1.交互式音乐数字可视化的视觉作用面对多动症儿童易冲动，注意力不集中的特点，笔者选取了以蓝色为主基调的背景色，使得多动症儿童在参与的过程中既充分参与游戏，又不至于产生浮躁情绪。蓝色具有冷却降温的作用，相对具有催眠作用，首先能够给多动症儿童以心理暗示，而后颜色差异的视觉元素在音律的驱动下进行跳跃，利用具有流动感的圆形能够强有力的诉诸于儿童的视觉感官。通过对于多动症儿童视觉的把握能够一定程度上吸引儿童的注意力获得一定程度上的矫正效果，起到某种程度的治疗作用。2.交互式音乐数字可视化的听觉作用面对多动症儿童分散注意力的特点，笔者力图尽可能利用视觉听觉同时作用的来进行行为引导，具有FreeLoop风格的数字音乐有良好的听觉冲击力，同时不同的点击能产生带有用户自主色彩的乐曲形式，避免了单一的表现，能够有效地吸引多动症儿童。同样，对于多动症儿童起到的是一定程度的听觉吸引，对于行为矫正具有一定程度的作用。为了验证该交互式音乐数字可视化作品的临床辅助作用，笔者通过多次走访调研最终选择青岛大学附属医院儿童保健科作为本次研究试验的支持单位。笔者在儿童保健科的支持协作下，对2014年1月前入诊的不同年龄阶段的儿童多动症患者进行走访式了解，对儿童年龄、病情程度、发病时间、治疗持续时间等进行了统一调查，最后随机选取40名多动症儿童患者进行试验。该研究在儿童保健科两位主任医师的帮助下对进行病情评定。从2014年1月份开始，历时5个月，40名多动症儿童参与研究，再从40名儿童中随机抽取20名多动症儿童作43 北京工业大学工程硕士专业学位论文为音乐数字可视化作品辅助对象，儿童年龄跨度从3周岁到8周岁。5个月来在专业儿童病理医生的协助下进行有效性评定。具体数值及相关图表如下。图5-1音乐数字可视化设计介入多动症儿童治疗Figure5-1MusicvisualdesigninterventionaltreatmentofchildrenwithADHD图5-2无音乐数字可视化干预的多动症儿童病情发展Figure5-2WithoutmusicvisualizationinterventionforchildrenwithADHDprogression从图5-1、图5-2显示的数据来看，正常情况下仅接受临床治疗的多动症儿童病情随着时间的前进有所改善，病情好转率按照一定的数值持续，说明心理治疗或者药物治疗的积极性。在图5-1中我们可以看出，在音乐数字可视化作品的干预下，多动症儿童病情好转率相对更高，在前三个月的过程中效果尤其明显，好转的儿童数目每月呈递增趋势，说明音乐数字可视化作品的介入对儿童多动症治疗起到了良好的辅助作用。3个月之后从图中可以看出该作品对儿童的影响力出现疲软状态，但和对照组相比依旧有较大的积极作用。从这组对照性试验中可以看出，对于多动症儿童的病理治疗，音乐数字可视化作品对儿童多动症的注意力集中问题、兴趣点吸引问题有着较好的辅助作用，在短期时间内有着积极的效果，但由于研究对象的数量相对较少，研究范围相对较小，因此，对于多动症儿童更长久的影响效果有待进一步探究。音乐数字可视化作为数字媒体的一个崭新领域，具有良好的产业发展前景，其产业化同样能够得到生产者，生产工具，消费者的支撑。首先，作为初始发展动机，音乐数字可视化产品相对于传统的音乐制品在数字技术的帮助下，能够实44 第5章音乐数字可视化在多动症儿童治疗中的测试现良好的视觉展现于交互操作，用户具有良好的沉浸感，这就为交互音乐产业化的发展提供了最初的发展动机。其次，交互式音乐数字可视化作品具有众多的制作人员，能够为消费者提供个性化，多样性的数字音乐产品。同时，如今大数据与计算机技术的飞速发展为交互式音乐数字可视化提供了生产工具的支持，如今的消费者更倾向于选择具有个性化的制作产品，交互式的音乐数字可视化作品为他们提供了更好的展现自我的机会。传统的多动症治疗，其疗效不显著，治疗效果差，副作用相对较大，音乐数字可视化能够为多动症治疗提供良好的人性化解决方案，使得艺术的内在诉求与多动症儿童的心理相结合，创作出适合于多动症治疗的音乐数字可视化作品。同时，音乐数字可视化作品能够从患者内心出发来进行一系列心理干预治疗，对于医疗产业的治疗具有一定程度的辅助作用。5.2交互式音乐与多动症治疗的精神动因多动症儿童在行为上存在抵触、精神注意力不集中等特点，但同时在内在心理上同时存在孤独、幻想等心理弊端，在现实生活中由于得不到良好的自我价值实现，因此在内在心理上存在自我实现的心理要求，而音乐正是在人的情感基础上的听觉创作，力图达到心理上的共鸣。如此在心理治疗上对于多动症儿童的心理缺陷能够得到良好的治疗效果，同时音乐信息的视觉化能够给予多动症儿童以视觉上的冲击与体验，进一步吸引多动症儿童注意力，达到行为的矫正效果，人机交互，实现了多动症儿童良好的沉浸参与感，从内在心理上能够给予多动症儿童以心理慰藉。音乐数字可视化如今已经形成了一套可控的生产流程，从底层的主题策划到上层专业创作与设计结合的制作过程与技术环节能够为多动症儿童提供一个全方位的视听声化表达体系，从而从内在精神表达到外在形式演绎都能够给予多动症儿童以良好的展示、参与平台。音乐数字可视化利用如今的数字艺术与传统音乐产业的结合，将传统的模拟乐音转换为如今的数字表达形式，形式感得以重新组合，将乐音转换为二进制比特进而重组形成新的表达形式，面对当前多动症物理疗法治疗进度相对缓慢的现状，交互式音乐数字可视化的艺术治疗方法在一定程度上将会达到良好的精神补给，给予多动症儿童更多的人文关怀与技术治疗。作者的音乐数字可视化作品力图抓住传统设计元素中的“少即是多”的设计原则，利用简单的图形元素进行简单组合，避免传统疗法的繁复治疗手段，从而避免多动症儿童在治疗的过程中产生抵触情绪，本作品以交互式的音乐数字可视化作为创作动机给予多动症儿童更多的是参与感与沉浸体验，为多动症儿童的音乐体验增加了两个维度—视觉与触觉，是对于多动症治疗的一次有力的探索。45 北京工业大学工程硕士专业学位论文5.3音乐数字可视化在医疗产业的发展途径音乐数字可视化作为信息视觉化表达的一个发展方向，在医疗产业的发展过程中具有良好的发展前景，如今的音乐视觉化研究对于临床疾病的探讨治疗具有重要意义。音乐数字可视化的产业开发方法论能够树立产业标杆，树立医疗产业化方向。笔者认为具体的发展途径有以下几个方面：利用新的媒介表现形式促进医疗产业发展。在新时期，越来越多的媒介表现形式出现在人们的视野中，如今数字化引入医院挂号系统，远程诊断等都是新的数字媒介表现形式进驻医疗产业的表现。同样，音乐数字可视化在视听表达上具有良好的吸引力，当今医疗产业发展离不开对于患者内心生活的治疗，利用音乐的听觉表现能够给予患者内心以安宁的心理暗示，能够促进患者就诊、治疗过程中的正面情绪。同样视觉化的音乐信息表现能够体现创作者的心理暗示，对于患者治疗具有一定的积极效果。正如前面的调查研究所示，作为音乐数字可视化作品对于儿童多动症具有一定程度的辅助作用，未来伴随着音乐数字可视化作品的多样化，治疗辅助手段必然会越来越多样化与人性化，对于医疗过程是一则利好消息。形成丰富的产业结构与发展模式。音乐数字可视化作用于医疗产业的发展模式应该是一个多方位、功能性的表达过程。无论是传统的音乐或是美学、设计都曾经在医疗产业中发挥出重要的作用。如今的音乐数字可视化产业同样可以利用传统的表达渠道进行传达，同时积极开阔思路，进行新形式的表达创作，例如如今的医疗信息系统，在患者进行就医的同时辅助于音乐数字可视化作品，同样会获得良好的用户体验与发展前景。利用音乐光色表演，虚拟音乐意向等能够在医疗产业与娱乐业中间找到良好的衔接点，为患者的身心治疗起到良好辅助作用，音乐互动、音乐主题动画在像多动症儿童这样的患者群体同样能够得到良好的治[7]疗效果。形成可操作的生产流程与方法体系。无可否认，音乐数字可视化在医疗产业的发展前景良好，但其目前的应用操作尚存在缺陷，笔者对于音乐数字可视化在多动症儿童治疗上的积极探索正是对于目前困境的一种探讨，笔者认为，在具体的实践过程中，形成一套可操作的生产流程与方法体系至关重要。流程化管理有利于音乐数字可视化的产业发展，控制成本，提高生产效率，形成从前期策划到中期开发制作后期维护的发展模式将会是音乐数字可视化在医疗产业的发展主要途径。46 第5章音乐数字可视化在多动症儿童治疗中的测试完善的技术应侧重于人内心的探求。在音乐数字可视化的过程中，技术因素能够获得平台的一致性，表现形式的多样化，但同时技术应该服务于文化思想，在音乐视觉化与医疗产业的结合过程中，对于患者内心诉求的研究尤为重要，正如笔者的交互式音乐视觉化对于多动症儿童的治疗中，笔者正是针对多动症的发病机理与临床表现进行了研究，利用交互的应用特点来抓住了多动症儿童的注意力，同时利用视听元素来作用于多动症儿童的视觉与听觉，力图能够获得良好的沉浸感。因此从患者内心出发来进行音乐数字可视化应用的开发制作工作才是技术工作者们应该思考的问题。音乐数字可视化在医疗产业上的发展前景广阔，笔者利用音乐数字可视化对于多动症儿童的治疗初步探讨了音乐数字可视化在医疗产业的几点发展方向与建议。在未来，音乐数字可视化的医疗产业研究应该侧重于对于移动终端医疗成果的开发与探讨，当今移动终端消费与应用正在全面占据市场，伴随着移动屏幕尺寸的多元化，未来医疗体系必将接受这一新的媒介形式，然而移动终端给患者带来的便捷性确实是传统的信息传播渠道无法比拟的，因此未来音乐数字可视化产业的重点发展方向应是移动终端的技术表现与应用。5.4本章小结本章通过在青岛大学医学院的专项调查，以及对调查结果的可行性分析，重点探讨了音乐数字可视化对多动症治疗在宏观数据上的表现与分析。同时，对音乐数字可视化在医疗产业上的发展途径与音乐数字可视化对多动症儿童治疗的精神动因进行探讨，笔者相信在未来伴随着音乐信息的表现形式更加趋于多元化，同时伴随着数字技术的发展，医疗业、音乐产业都会得到一个良好的契合点从而促进对于像多动症疾病这样偏重于精神病学疾病的治疗与实践。新形式的出现必将带来一系列的内容产业的发展，在多动症的治疗途径上，艺术治疗的方式手段同样会更加多元，更多艺术家，技术工作者的参与必将会带来一片崭新的发展领域。47 北京工业大学工程硕士专业学位论文48 结论结论本课题主要是对音乐数字可视化与多动症儿童治疗进行了一定的研究，针对当下的多动症儿童治疗，以艺术治疗为切入点，通过对音乐数字可视化的形式感、互动性研究来进行对多动症儿童神经的物理刺激，进一步达到治疗目的。作为传统动画软件AdobeFlashProfessional具有良好的动画基因，其在动画元素的表现力与制作成本上均具有良好的作用特性，所制作的数字音乐可视化项目对儿童视觉与听觉具有较好的吸引力，对于多动症儿童的注意力不集中、易激动都有良好的治疗效果。在研究与分析之后，发现在数字化、交互式的表现形式之下，具有交互性的音乐数字化作品能够强有力的诉诸于多动症儿童的视听觉系统。本研究除了遵循以往的课题研究论点之外，还提出了全新的论点，包括在数字技术的帮助下，以音乐数字化、交互式为立足点，浅析了交互式音乐数字化对多动症的初步治疗效果，以及这种数字化的应用，使得传统的音乐元素与数字化的表达方式得到完美的结合。对比相类似的研究课题内容，本次研究的创新点还在于全面化、系统化的内容梳理，将音乐数字可视化的表现形式与治疗效果进行的全面表达，并且通过实践进行了相关论证。通过对音乐数字可视化对儿童多动症应用情况进行深入的研究与探讨发现，在未来的儿童多动症的治疗过程中，艺术与数字化的结合还应该进一步深化，创作出更多优秀的音乐数字化作品来反馈到儿童多动症的临床治疗之上。随着如今数字技术在视听表现上的大胆创新，动画创作者其实也可以利用这种现代化的数字手段更多地应用于动画材料创作中，实现数字对人的全方位治疗已近可能。课题只是对于部分理论观点进行了实践，但有一些相关的理论层面知识，还需要技术上面的验证，这些都需要以后的工作进行深入研究。在众多数字表现形式中，尤其应该着重挖掘能够触动儿童内心世界的数字艺术表现形式，需要更多的动画艺术家投入其中，为我国的多动症儿童的临床治疗做出更多的贡献。本研究通过对青岛大学医学院中接受治疗的多动症儿童进行数据统计与分析，明确了音乐数字可视化在一定程度上能够对多动症儿童治疗产生积极作用，同时指出音乐可视化的产业发展道路需要积极与新时期的发展环境相结合，立足艺术治疗的传统发展途径，能够切实作用于当今的多动症儿童辅助治疗过程中。49 北京工业大学工程硕士专业学位论文50 参考文献参考文献[1]许莉，薛亮.打造全球音乐视听的梦工厂[J].文化月刊-动漫游戏，2011-11，第1页第四段前4行[2]BlumK.chenTJ，ChenAL，etal.Dodopaminergicgenepolymorphismsaffectmesolimbicrewardactivationofmusiclisteningreponse?TherepeuticimpactonRewardDeficiencySyndrome(RDS)[J].MedHypotheses.2010，74(3):513-520，第3页第三段4-7行[3]MrazovaM.CelecP.Asystemacticreviewofrandomizedcontrolledtrialsusingmusictherapyofchildren[J].JAlternComplementMed.2010.16(10):1089-1095，第4页第一段3-4行[4]ClarkeAR，BarryRJ，MccarthyR，etal.EEGacitivityingirlswithattention-deficit/Hyperativitydisorder[J].ClinicalNeurophysiology，2003.114(2):319-328，第5页第一段3-6行[5]Attention2deficit/hyperactiv2itydisorderinadults:anoverview[J].BiolPsychiatry，2000，48:9220，第18页第三段2-4行[6]AdobeFlashCS5ActionScript3.0中文版经典教程[M].井中月，译．北京：人民邮电出版社，2010，11，第30页第三段2-3行[7]周海宏．音乐与其表现世界[M].北京：中央音乐学院出版社，2004，第46页第四段6-9行[8]ubelka0.Interactivemusicvisualization.[M].2000[9]祝杰，沈春山，吴仲成.OPC技术在DCS数据访问中的应用[J]华中科技大学学报，2008[10]维佳.数字技术在动画创作中的应用研究[D].西安工程大学.2012-06-30.[11]大美百科全书[M]．台北：台北光复书局，1995：P330[12]RichardWoods，MetteMortensen[M].PrenticeHall，2007，8[13]PUYiFei.Fractionaldifferentialapproachtodetectingtexturalfeaturesofdigitalimageanditsfractionaldifferentialfilterimplementation[P].ScienceinChina，2008[14]胡秩男.谈动画创作的材料与风格形式[J].长春大学报.2009-07[15]吴娇.艺术原理研究——材料动画艺术原理研究[J].现代商贸工业.2012-04-01.P86[16]HusrevT·Sencar.DigitalImageForensics[M].Springer-VerlagNewYorkInc，2012，7[17]AlanCooper.DesigningfortheDigitalAge:HowtoCreateHuman-Centered51 北京工业大学工程硕士专业学位论文ProductsandServices[M].JOHNWILEY&SONSINC，2009，2[18]NortonFaustoGarfield.DigitalImageCorrelation[M].AnimPublishing，2012，2[19]BoguslawCyganek.ObjectDetectionandRecognitioninDigitalImages:TheoryandPractice[M].Wiley-Blackwell，2013，7[20]邓林．世界动漫产业发展概论[M].上海：上海交通大学出版社，2008：P7[21]袁强.中国动画数字化的新生成[D].大连工业大学.2011-04-01.P1[22]JamesLull.MEDIA，COMMUNICATION，CULTUREAGLOBALAPPROACH，商务印书馆2012，12[23]wujianhua.Differentiateddigitallibraryevaluationinahierarchicalmodelstemmingfromitsoperationalscopeandcomplexity[P].ChineseJournalofLibraryandInformationScience，2009[24]BenShneiderman.DesigningtheUserInterface，电子工业出版社，2011[25]YvonneRogers.InteractionDesign:BeyondHuman-ComputerInteraction[M]Wiley，2011[26]KenHyland.Metadiscourse:ExploringInteractioninWriting[M].ContinuumInternationalPublishingGroupLtd，2005，9[27]许南明．电影艺术词典[M]．北京：中国电影出版社，1986：P576[28]王超杰.探析数字技术在动画制作中的应用与发展[D]西北师范大学.2012-05-01.P1[29]AdobeCreativeTeam.ActionScript3.0forAdobeFlashProfessionalCS5[M].AdobePress，2010[30]Ashton.Harmonograph:AVisualGuidetotheMathematicsofMusic[M].Walker&Company，2003[31]大美百科全书[M]．台北：台北光复书局，1995：P330[32]尼葛洛庞帝.数字化生存[M].海口:海南出版社，1997[33]JanetE.Finlay.HumanComputerInteraction[M].PrenticeHall;3rdRevisededition，2003，9[34]DavidA.lauder.DesignBasics[M]，CengageLearning，2011[35]AlessandroCipriani.ElectronicMusicandSoundDesign[M].Contemponet，2014[36]AndyPratt.InteractiveDesign:AnIntroductiontotheTheoryandApplicationofUser-centeredDesign[M]，RockportPublishers，2012[37]张悦.“熊猫爸爸”史蒂文森:我是看功夫片长大的[J].东方早报，200952 参考文献[38]石净波.剪纸动画中数字媒体技术的应用研究[D].昆明理工大学.2013-04-01.[39]Vranckx.ModernInteriorsDesignSource，HarperDesign，2007[40]李四达.数字媒体概论[M].北京:清华大学出版社，2008[41]刘伟伟.互动式多媒体课件的设计与应用研究[J].山东师范大学，2008.[42]朱治国.FlashActionScript3.0编程技术教程[D].清华大学出版社，2008.[43]孙颖.ActionScript3.0殿堂之路[D].电子工业出版社，2007[44]GilesColborne.交互设计四策略[D].人民邮电出版社，2011[45]陈彩琦.多动症的心理治疗与矫正[D].暨南大学出版社，201253 北京工业大学工程硕士专业学位论文54 致谢致谢在此论文完成之际，必须要感谢我的导师教授、辛勤培育我的老师们和学校各级领导对我的研究工作的支持，对生活、工作予以无微不至的关心。这次能完成研究课题，主要得益于我的导师教授以及其他专业老师在我硕士学习期间给予的教导和帮助。正是有了他们在专业上的指导，才使得我在动画修养上不断的提高。在北工大的学习生活中，老师们以身作则，把自己的知识和见解毫无保留的与我分享。从他的谆谆教导之下，我不但学习到了音乐可视化的很多知识，更重要的是我学习到了前辈动画艺术家创作的态度。中国音乐可视化研究辉煌的过去不是偶然的，而是以老一辈艺术家渊博的文化修养、不断创新的精神、严肃认真地工作态度为基础的。面对前辈们高大的身影，在这个浮躁社会下的我们应该怎样担负起中国动画的崛起之任。惭愧之下我还是收起自己浮躁的心，认真研究认真学习认真创作的好。感谢在毕业项目期间导师教授给了我很多艺术和理论的指导。最后，感谢关心和爱护我的父母和家人，是他们为我创造了学习深造的良好机会，同时给我物质和精神上的极大支持和鼓励。在本次论文写作中，指导老师给予了笔者宝贵的意见，对笔者的论文的不足及错误之处，给予了批评指正，让笔者在这次论文写作中获得了长足的进步，获益匪浅，在此对指导老师表示感谢。在此还要感谢那些给予笔者很多帮助的同学，是他们帮助笔者解决了在论文写作过程中出现的一些其他问题，使笔者的论文顺利完成。55