图 5:CV Dazzle。 © Adam R. Harvey,2010 年。
图 5:CV Dazzle。 © Adam R. Harvey,2010 年。
我通过这种比较绝对不是想批评我们美国同事有趣的研究方法——我想澄清一点:艺术需要感知,而感知是一个极其复杂的神经和认知过程。艺术家利用它,艺术史学家分析它,计算机科学家试图模拟它。正如迄今为止提到的项目所表明的,数字技术显然最初适合处理艺术史中的传统主题:图像学、风格史、归属问题、主题识别。但是,如何处理图像、图像的感知及其背景等问题如何在数字人文学科中找到一席之地呢?
维也纳艺术史学家拉斐尔·罗森伯格(Raphael Rosenberg)基于他对艺术接受的文学描述的兴趣,开始研究艺术欣赏的实际过程。他与心理学领域的同事一起,在“经验图像观察实验室”中使用眼动追踪技术分析艺术品接收者的眼球运动(图 6)。[12]
图 6:凝视分析的可视化。来源:《艺术与日常生活之间》(采访赫尔穆特·莱德和拉斐尔·罗森伯格)。 © 维也纳大学经验图像科学实验室,2012 年。
图6:凝视分析的可视化。来源:《艺术与日常生活之间》(采访赫尔穆特·莱德和拉斐尔·罗森伯格)。 © 维也纳大学经验图像科学实验室,2012 年。
如何对某事物进行个体感知的问题之后,紧接着的问题是如何根据具体情况对某事物进行个体解释的问题。我们可能已经达到了基于图像的分析的极限,或者基于图像和基于文本的方法的结合变得有前景的程度。拉斐尔·罗森伯格将他的结果与历史图像描述进行了比较。在他的ARTigo游戏中,Hubertus Kohle 让尽可能多的互联网用户为图像分配标签,也是为了通过他们的分析获得有关个人解释和感知模式的线索。
我的印象是,艺术史在这里仍然处于相对起步阶段——在开发将数字分析程序和人类解读智能地结合起来的方法——但数字技术可以帮助通过实证支持的接受研究来补充针对隐性观众的传统接受美学。在这里我想再进一步谈谈我在一开始所观察到的观点,那就是艺术并不局限于视觉产物。 – 那么从更广泛的意义上来说,接受研究意味着什么呢?
艺术接收不仅通过眼球运动发生,还通过身体运动发生。据我所知,虽然空间运动分析在建筑研究或策展研究领域中仍然很少应用,但艺术家从早期就对新技术在这方面提供的可能性很感兴趣。 GPS 设备一经商业化推出,便出现了诸如“阿姆斯特丹实时”(2002-2003 年)之类的项目:在这个项目中,Esther Polak 在 Waag 协会的支持下,完全基于 GPS 支持的居民实际运动记录绘制了阿姆斯特丹城市地图。在这里,正如上面提到的,我们当然不仅对接受者自己的动作或行动感兴趣,而且还对他们的解释和背景感兴趣。为了达到这个目的,必须采用综合方法。
说到这里,我想提一下我自己在研究交互媒体艺术[13]时所进行的一个项目,因为正是参与性和交互性的艺术将个体接受者的个人体验置于其审美策略的中心。 – 那么,人们怎样才能不从自己作为一种理想观众的自身经验出发(这在艺术史上很常见)来审视这些事物呢?我和来自加拿大和澳大利亚的两位同事一起使用了一种称为“视频提示回忆”的方法。[14]只要接收不仅限于单纯的观看,还包括手势、动作甚至语言,这些动作都可以通过视频记录下来。我们这样做是为了能够再次向各个接收者播放最终的文档,并要求他们对自己的行为进行评论。此评论被保存为文档中的一种画外音。对以这种方式创作的作品的各种反响以及艺术家访谈的记录,形成了非常有趣的多视角文献。我们有美国艺术家组合 Tmema 的一件作品《手动输入工作站》的文献记录(2004–2006)成立。您可以通过丹尼尔朗格卢瓦基金会的在线档案访问。在与该作品互动时,人们可以使用标准投影仪来创建阴影形状,然后对其进行数字分析并叠加动画形状和声音。这项工作不仅仅涉及视听效果本身,还涉及与形式和声音互动的体验。因此,最终只有在观察各种游客互动后才能对它们进行充分的分析,最好辅以不同游客的反应或解释。这是通过上面提到的多视角文献实现的。然而——我想明确强调这一点——这种形式的记录最终并不依赖于先进的数字技术。虽然这项工作是数字化控制的,但提到的文献不一定基于数字技术,而是基于传统的视频记录。尽管数字技术使得剪辑不同音轨变得更加容易,但使用模拟方式也是可以实现的。这又把我们带回到意识形态批判的问题上:首要目标必须是找到最能服务于调查对象和所提问题的分析方法。这可以是基于人群的元数据收集、运动模式的图形表示或基于视频的分析。
在我的贡献的最后一部分,我想回到图像的话题,当谈到可视化在艺术史中的应用时,人们通常首先想到的是建筑史,它使用数字模型重建被毁坏的建筑物,可视化施工阶段或研究有关历史干预的假设。这是数字艺术史上非常重要且很有前景的一个方面,但我不想在这里进一步讨论。相反,我们将讨论另外两种可视化形式:使用图像的解释性可视化和所谓“大数据”的可视化。
5.可视化
图 7:扬·凡·艾克 (Jan van Eyck):教堂里的圣母,Ident. 525C号。 © 照片:柏林国奥地利电报数据 家博物馆画廊,摄影师:GG-Fotowerkstatt。 CC BY-NC-SA 3.0。
图 7:扬·凡·艾克 (Jan van Eyck):教堂里的圣母,身份。 525C号。 © 照片:柏林国家博物馆画廊,摄影师:GG-Fotowerkstatt。 CC BY-NC-SA 3.0。
20 世纪 90 年代,柏林博物馆发行了一系列 CD,其中包含可进行交互式图像分析的专题作品。其中一幅是献给扬·凡·艾克的著名画作《教堂里的圣母》(约 1440 年)(图 7)[15],这幅画不仅描绘了教堂里的圣母,而且描绘的圣母就是教堂。关于这座雕像相对于其所在建筑的巨大尺寸,一些开创性的文本对此进行了解释,例如奥托·帕赫特 (Otto Pächt) 的这篇文章:
»只有 Jan 认为圣母像一座巨大的雕像矗立在空中的神殿中,因为对他来说,空间整合主要不是比例的问题(Jan 的所有建筑场景都太低了),而是体积和空间外壳之间可测量的关系。 […] 玛利亚将教堂拟人化的抽象想法激发了坚定的经验主义者的艺术想象力,创造出了真实的教堂建筑的形象,现在这个形象与天后作为环境联系在一起。这样,玛利亚作为教会,就成了教会中的玛利亚。“ [16]
尤其是在这种解释性描述的背景下,柏林博物馆提供的在数字复制中调整圣母像相对于内部空间的尺寸的可能性非常有趣(图 8)。[17]这是一种“比较观看”,并不是比较两件艺术作品,而是比较对图像进行处理的效果,比较想象中的替代图像,但这些图像仍然有助于理解原作所选择的解决方案。通过对这个交互式应用程序进行实验,可以很快清楚地了解论证和认知过程在文本解释与探索性操作中的不同之处。后者并不能取代前者,而是对前者的一种补充。