可视化中知识的诅咒
这篇是VIS的Bias & Patterns标签下的一篇文章
IEEE引用格式:C. Xiong, L. van Weelden, and S. Franconeri, “The Curse of Knowledge in Visual Data Communication,” IEEE Trans. Vis. Comput. Graph., pp. 1–1, 2019, doi: 10.1109/tvcg.2019.2917689.
文章简介
在专家发表演讲时,与观众的信息处理能力相比,可视化的数据往往传递的过快过复杂而让人难以接受,而演讲人则通常忽略这一事实,这个现象称为知识的诅咒
知识的诅咒对交流有极大的影响,若人们认为信息已共享,则他们通常不会把信息传递给他人,这意味着演讲者必须准确知道观众知道什么,不知道什么,才能包含观众需要的信息
与数字和文本格式相比,数据可视化可以有效地突出显示数据中的关系和模式,但同时理解复杂的可视化就像读一个段落,不同的解读方式得到不同的结果,通过可视化数据进行交流能否成功,部分取决于预测,避免和纠正沟通失败的能力
本文的实验结果表明了,由于可视化专家不能从麻瓜观众角度出发而导致沟通失败的情况确实是存在的,这对于信息可视化的研究具有现实和理论意义,在两项研究中,团队告诉参与者图表的背景并要求他们预测不知情的观察者会注意到什么,作者预测,当参与者得到的信息使得他们认为数据中的一个故事在视觉上很突出时,他们会相信其他人也能体会到相同的显著性,即使他们被明确告知观众并不知道这些信息,这种想法也会持续下去
通用方法
实验的目的是证明在视觉可视化的视觉感知中知识的诅咒,即知识是否会对个人如何看待可视化产生拍哪件,以及这些偏见是否预示着无知的观众也会有同样的偏见
实验的参与者完成了一项调查,在调查中,他们阅读了一个故事,故事传达了一个描绘政治投票数据的图表的背景知识,参与者被告知,实验的目的是想调查众包如何能很好第预测人们在类似图表中想看到的特征,同时,他们被告知,实验者想给100个人展示他们刚看到的图表,只有简短的描述但是没有故事,理由是后来的研究者有更严格的时间限制,而给他们一个故事的原因是为了了解数据是从哪里来的
然后让他们预测不知情的观众会看到的图表中最显著的视觉特征,他们并不知道具体要预测几个特征,只是被要求一次预测一个特征,从最突出的到第五突出的,因此他们不能提前计划他们要写下的五个特征,这最好地保证了这些特征被记录下来的顺序与参与这认为这些特征在视觉的突出程度相匹配,于此相反,实验性的实验证明了,一次性列出所有特征会导致参与者按照从左到右或者从上到下的顺序列出特征,而不管访谈中他们发现的最突出的特征是什么
在参与者写下他们预测的每个特征之后,还在一张纸的图形上圈出了对应于每个特征的区域,然后,他们报告了这五个预测的特征在视觉上对他们的突出程度,从1到5,1表示在视觉上并不突出以及5表示视觉上非常突出,最后,他们将自己的5个预测尽可能与电脑屏幕上呈现的5个预先确定的特征匹配。为了避免实验者的偏见,这种配对是由参与者而不是实验来完成的
作者假设参与者会:
在五个预先确定的特征中,预测(写并圈出)他们读到的故事中突出的特征比故事中没有突出的特征在视觉上更加突出,突出的特征的排名高于没有突出的特征
对不知情的观众来说,他们认为视觉上最突出的特征对他们自己来说也是最突出的
线形图实验
18名西北大学的学生(10名女性)参与了这项实验,以换取心理学导论课的学分。如果需要,所有参与者都被要求带上矫正眼镜
第一个自变量是五个预先确定的特征的排名,这对应于参与者认为一个不知情的图观察者会描述的图中视觉上最显著特征到第五显著特征的优先顺序,第二个自变量是每个参与者对自己预测的特征在视觉上的突出程度打分,从1到5分
参与者读了一篇关于欧洲小国的总统选举的故事,四个主要政党:工党,保守派、联盟和联合,如图所示
这个故事突出了四个政党中的两个之间的竞争,说明公民投票意愿如何随着时事而波动,这些故事和数据都是虚构的,没有描述任何真实的人或事件,尽管没有明确地告诉参与者,起初,在两个突出的政党中,其中一个民调要遥遥领先,在最初的辩论中,领先的政党把选民转向了不那么受欢迎的政党,最终失去了领先地位,然而,在后来的辩论中,最初领先的政党却能收回候选人失去的选票,并在他的对手辩论表现不佳后再次领先
参与者被划分为三组(middle,top和bottom),每个参与者都听到了同样的故事,但是在每个故事中,强调竞争的两方都有所不同
图中显示的是工党和保守党之间的关系,工党和联盟党之间的关系,以及联盟党和联合党之间的关系。在每对线中,较高线的一方将选票让与较低线的一方,然后较高线的一方获得选票
读完故事后,研究人员向参与者展示了一个线形图,该线形图描绘了选举期间四个政党的民意调查信息
在图中,参与者通过使用突出显示的数据模式对故事点进行注释,虽然故事总是一样的,但是顶部、中间和底部的条件在图表上都突出了各自的特征,在这三种情况下,这两种辩论都与每张图上的左右框特征分别描述的两种波动有关。最初的辩论导致最初的领导政党的选票减少,这在左翼框中突出,而后来的辩论则为最初的领导政党挽回了失去的选票,这在右翼框中突出
在参与者预测一个不知情的图表观察者会认为什么是图表上最显著的特征之前,他们被展示了一个没有注释的折线图,如图所示
他们被告知,这个没有注释的图表没有故事,是不知情的图表观察者所能看到的全部。这个没有高亮显示的图表的纸质副本被提供给参与者来记录他们的预测
当参与者将自己的预测与五个预先确定的特征相匹配时,他们会参考自己在没有标注的纸上的标记,如下图所示
这五个特点都是在故事中突出的特点,但在三个不同的条件下。顶部的特性A和B对应于在top-prime的故事中描述和突出显示的特性。右下角的特性C和D对应于bottom-prime故事中描述和突出显示的特性,特征E对应middle-prime情况
所有的故事,实验刺激,和数据文件可在Link找到
通过检查参与者在没有标注的图表上标注的内容,我们发现这三种情况在性质上有明显的差异,如图所示
总的来说,这些定性结果支持了第一个假设,即在所有三种情况下,参与者都预测了故事中被描绘和突出的特征对于不知情的观众来说是最突出的视觉特征
在定量分析中,为了更直观地可视化,作者对预测特征的排名进行了反向编码,对预测的视觉上最显著的特征取倒数5,显著性第5的特征取1,利用实验的特征匹配部分的数据,对五个预先确定的特征进行排序,如果参与者认为五个预先确定的特征中没有一个与他/她的预测相匹配,那么这个特定的预测就会与”N/a”相匹配,那么统计分析就不考虑该预测,而将该预测的排名点计入,如果参与者将两个特征匹配到一个预测的特征,这两个特征将得到相同的等级
把故事明确反映出来的特征(一致性)和故事没有直接反映出来的特征(不一致性)放在一起,而不是单独比较,可以得到更清晰的区别。下图显示了参与者认为在故事中描述的特性对其他麻瓜查看者来说是突出的,比没有在故事中描述的特性更突出
作者利用非参数Wilcoxon符号秩检验,计算了非同余特征秩和同余特征秩的差值,对应的特征等级是三种情况下故事中描述的特征的平均等级,任何没有排名的特征都被分配到6的等级,这样它就会低于所有排名的特征
同时,实验还测试了自我评价的显著性,也就是这些预测的特征在视觉上对参与者本身有多显著。在他们预测其他不知情的图表阅读者会认为视觉显著性的特征被标记下来后,参与者按照1到5的等级对他们自己的视觉显著性进行评分,随后作者计算了一个简单的线性回归来预测基于特征顺序的自评显著性,如下图所示
参与者通过阅读故事获得的知识会使他们的预测产生偏差,因此,一般来说,他们认为故事中描述的特征比故事中没有描述的特征在视觉上更显著,更重要的是,在获得了这些背景知识之后,参与者会有偏见地预测,其他不知情的图表观看者也会认为这些特征在视觉上更加突出
本实验的定性和定量统计分析都是事后进行的。为了确保研究结果的有效性,团队接下来在一组新的参与者上重复了这个线形图实验,并按照相同的程序和数据分析方法分析了数据
线形图实验复刻
过程与线形图实验一致,略
条形图实验
和线形图实验非常相似
预设特征如图
定性和定量分析结果如下
结论
在三个使用两种图形的实验中,参与者被要求模拟别人在可视化中看到的东西,这让他们遭受了知识的诅咒。当参与者被告知三种可能的背景故事中的一种,每一种都使图形中的特定图案在视觉上突出时,参与者认为麻瓜观察者也会认为同样的图案在视觉上突出,尽管有明确的指示,让他们忽略自己知道的东西,并采取一种无知的观点,但这种效应还是发生了
这些结果与其他最近发现的知觉和认知偏差对解释数据可视化模式的影响有关,改变自写作和更多认知任务的讲故事技巧会影响我们从视觉化中提取数据的方式,知识的诅咒已经在不同的认知领域得到了很好的研究,但是在视觉感知方面却很少。考虑到数据可视化对于信息探索、参与和理解的重要性,作者认为它是这种可能性的理想测试平台
演讲者、论文作者和数据分析师在交流数据模式时可能无法与听众沟通。目前的结果提供了一个经验证明,知识的诅咒可能是主要的责任
知识的诅咒是难以察觉和抑制的。批评提供了一个反馈循环,关于什么被沟通,什么没有被沟通。在一个强有力的知识诅咒案例中,一组可视化研究人员设计了一幅蒙德里安(Mondrian)绘画风格的公交时刻表可视化,并把它挂在学校的餐厅里。只有在得到反馈后,他们才意识到,许多观众根本没有意识到这是一个公交时刻表可视化,而是假设它是艺术作品
知识的诅咒还可能导致观众对数据集中给定的模式产生关注,让他们不太可能看到新的或替代的模式。因为可视化的设计可以强烈影响比较
此外,出于交流的目的,透视法的研究表明,人们通过将自己投射到陌生人身上,可以更准确地预测陌生人的反应。加强演讲者和听众之间的互动可以帮助演讲者衡量最有效的沟通方式,而不是压倒他们的听众
参与者是否发现某些数据模式很突出——并且认为其他人也一样——是因为他们知道这个故事,还是因为在视觉上引导他们看到一个图表中的特定模式?答案可能是”两者都有”,但未来的研究可能会梳理出这些因素的相对作用