[V] VAST，[I] InfoVis，[S] SciVis

继续整理VIS2019的论文内容，之前的内容见[VIS2019论文整理(1)]

Evaluation & Reproducibility

[I] Toward Objective Evaluation of Working Memory in Visualizations: A Case Study Using Pupillometry and a Dual-Task Paradigm [PDF]

认知科学已经在许多应用领域建立了广泛使用和验证的评估工作记忆的方法，但很少有研究使用这些方法来评估可视化对工作记忆的影响。使用经过验证的方法来测量工作记忆的信息可视化研究之所以缺乏，部分原因可能是由于缺乏为可视化研究的独特需求量身定制的跨领域方法论指导。本文提出了一套清晰、实用、有经验验证的视觉任务工作记忆评估方法，并为读者选择合适的工作记忆评估范式提供了指导。以地理空间数据为例，阐述了在视觉-空间聚合任务中评估工作记忆的多种方法。结果表明，使用双任务实验设计(同时完成多个任务而不是单任务)和瞳孔扩张可以揭示与任务难度和双任务相关的工作记忆需求。在双任务实验设计中，对任务完成时间和瞳孔测量法的测量揭示了工作记忆需求与任务难度和双任务相关。瞳孔测量显示，当参与者完成更困难的任务或同时处理多项任务时，他们的瞳孔明显更大，本文建议对视觉化工作记忆的相对差异感兴趣的研究人员应考虑一种趋同方法，即使用工作记忆的生理测量和行为测量来产生视觉化努力的丰富评估

[I] VisTA: Integrating Machine Intelligence with Visualization to Support the Investigation of Think-Aloud Sessions [PDF]

有声思维协议在可用性测试中被用户体验(UX)从业者广泛使用，以发现用户界面设计中的问题。分析大量记录的有声思维会话通常是很困难的，由于时间和资源的限制，很少有UX实践者在分析过程中有机会获得第二个视角。最近的研究显示微妙的冗长和说话方式往往发生在用户遇到的可用性问题中，受到这些研究的启发，本文的第一步是设计和评估一个智能的可视化分析工具，它利用这些模式来识别遇到的可用性问题，并将它们呈现给用户体验从业者来帮助他们分析。首先进行并记录有声思维会话，然后从录音中提取文本和声学特征，并训练机器学习(ML)模型来检测问题，接下来，迭代地设计和开发了一个可视化分析工具，VisTA，它能够通过ML预测和输入特性的时间轴可视化来动态地调查出声思考会话。文中将VisTA和baseline做了比较，研究结果表明，用户体验专业人员在使用VisTA时识别出了比baseline更多的问题，他们利用问题可视化作为概述、预测和锚点，以及将特性可视化作为了解ML考虑和忽略什么的手段

[S] On Evaluating Runtime Performance of Interactive Visualizations [PDF]

随着可视化领域的成熟，可视化技术的评估已经从报告运行时性能扩展到研究用户行为。因此，用户研究的许多方法和最佳实践已经得到发展。虽然保持交互性对于探索大型数据集仍然是至关重要的，但是还没有开发出类似的评估运行时性能的方法基础。本文对最近的50篇关于渲染体块或粒子表明上有新技术提出或者技术上提升可视化分析的论文进行分析。为了获得对定性运行时行为和定量参数依赖的更深层次的理解，作者团队开发了一个框架，用于对所知的体积和粒子可视化技术的最详尽的性能评估，包括对10种不同gpu的数百万次测量，本文报告了团队的见解，从统计分析的数据，讨论独立和线性参数行为和非明显的影响。在评估科学可视化应用程序的运行时性能时，本文提供了最佳实践的建议，可以作为更精细的性能量化模型的起点

[V] The Validity and Generalizability of Summative Evaluation Methods in Visual Analytics [PDF]

许多评估方法已经被用来评估视觉分析(VA)解决方案的有效性。这些方法源于各种不同的起源和不同的假设和目标，这导致了对其评价能力的混淆。此外，缺乏对评价过程的讨论可能会限制为VA开发新的专门的评价方法的潜力。这篇文章对评估方法做了一个分析，对过去两年文献的评价方法进行了调查和分类，分析了这些方法的有效性和归纳性，以及使用这些方法的可行性，同时提出了一种新的度量标准——总结性质量，用于根据评价方法证明有效性的能力对评价方法进行比较，并根据评价方法的总结性质量对评价方法的选择提出建议

[V] An Analysis of Automated Visual Analysis Classification: Interactive Visualization Task Inference of Cancer Genomics Domain Experts [PDF]

本文展示了鼠标交互日志分类如何帮助可视化工具匠理解他们的工具是如何使用的，本文的主要贡献是对12个可视化分析任务分类器的评估，它将基因组学和可视化专家的预测与任务推断进行比较，本文的评估使用的大多数可视化评估器都可以访问的常见分类器:k近邻、线性支持向量机和随机森林。通过比较分类器的预测和专家做出的视觉分析任务推断，团队发现简单的自动任务分类可以有高达73%的准确率，并且可以从“垃圾”日志中分离出有意义的日志，准确率高达91%。本文的第二项贡献是利用分类预测探索常见的MAGI相互作用趋势，这扩展了当前关于生态癌症基因组可视化任务的知识，第三个贡献是讨论自动化任务分类如何为迭代工具设计提供信息，这些贡献表明，鼠标交互日志分析是一种可行的方法，可用于(1)评估以客户端为中心的工具的任务需求，(2)允许研究人员对专家进行比通常可能的实验室观察更大规模的研究，以及(3)突出潜在的工具评估偏差

Animation and Sports

[I] A Comparative Evaluation of Animation and Small Multiples for Trend Visualization on Mobile Phones [PDF]

本文比较了移动电话上分散图的动画和小倍数变量的有效性，以比较多变量数据集的趋势。可视化在移动应用程序和移动优先的网站中越来越流行，但是对于小型显示器的可视化研究还很少，在这篇论文中，团队建立在先前的实验研究上进行了更大的显示，评估了动态和非动态散点图的变化。结合类似的实验刺激和任务，本文进行了一项实验，让96名众包工作者使用他们的手机进行9项趋势比较任务。团队发现，那些使用小的多重设计的人持续地在更短的时间内完成任务，尽管与使用动画设计的人相比，他们的自信心略低。准确性结果更多地依赖于任务，作者根据单个任务的特点进一步解释结果，并特别关注每个任务中目标和干扰数据项的轨迹。文中确定的案例倾向于动画或小的倍数，为进一步的实验研究和在移动设备上的可视化设计提供了新的问题

[I] A Comparison of Visualizations for Identifying Correlation Over Time and Space [PDF]

在许多领域中，观察空间和时间上两个或多个变量之间的关系是必不可少的。例如，观察不同国家出生时的预期寿命和生育率的演变，就可以对这些国家的人口结构进行概述。为这类多变量数据选择可视化表示是使分析师能够提取模式和趋势的关键。以前的工作比较了地理时间的可视化技术，例如在空间和时间上演化的单一主题变量，或者在特定时间点上演化的两个变量。但是可视化技术在交流随着时间和空间的变化而变化的两个变量之间的相关性方面的有效性还有待研究。本文报告了一项比较三种技术的研究，这些技术代表了可视化地理-时间多元数据的不同策略:对给定的时间步长并置所有的位置，或者对给定的位置并置所有的时间步长;以及使用覆盖在地图特征之上的符号或使用地图特征本身的可视通道来编码主题属性。参与者执行了一系列的任务，要求他们识别两个变量是否随着时间的推移而相互关联，以及在他们的进化过程中是否存在某种模式。任务在时间这两个维度上的粒度不同(所有时间步长，一个子步长，只有一步)和空间步长(所有位置，子区域中的位置，只有一个位置)。结果表明，可视化的有效性在很大程度上取决于要执行的任务，在此基础上，提出了一套用于通信关联的时空可视化技术的设计准则

[I] Common Fate for Animated Transitions in Visualization [PDF]

格式塔心理学的共同命运定律指出，视觉物体以相同的速度沿平行轨迹运动时，将被观察者视为一组，然而，共同命运的概念远比仅仅速度更为广泛：在这篇文章中，作者探讨了共同的命运如何导致协调变化的亮度和大小。本文展示了一项众包图形感知研究的结果，在该研究中，要求员工对一系列涉及四个图形对象的实验进行感知判断，这些对象在静态和动态视觉因素(位置、大小和亮度)相互冲突的影响下进行判断。结果得到如下的视觉分组排名:移动 > (动态亮度，大小，亮度); 动态尺寸>(动态亮度、位置); 和动态亮度>大小。团队还进行了后续实验，利用类似gapminder的动画散点图和选举数据的主题地图，在一个更生态有效的环境中评估三个动态视觉因素。结果表明，在实际应用中，这些因素的相对分组强度可能取决于各种参数，包括可视化特征和基础数据

Multivariate & Multidimensional Data

[V] Taxonomizer: A Visual Analytics Framework for Constructing Fully Labeled Hierarchies from Multivariate Data [PDF]

按照多维数据空间的维度或属性组织它们是一项相当困难的任务。这一领域的大部分工作都集中在统计方面，如相关性聚类、降维等等。这些方法通常生成层次结构，其中叶节点由属性名标记，而内部节点通常仅由统计度量和标准表示，如阈值。这使得主流用户很难理解它们。另一方面，科学、生物学、工程等领域的分类很容易理解，因为它们在内部节点上也提供了有意义的标签。自动标记分类的内部节点需要识别上位概念(hypernyms)。本文提出的框架叫做Taxonomizer，采用一种可视化分析方法来应对这一挑战。它呼吁人类的智慧来联系最新的数据分析、神经词嵌入和词汇数据库。它由一组可视化工具组成，这些工具从一个自动计算的层次结构开始，其中叶节点是原始数据属性，然后它允许用户为任何多元数据集造型高质量的分类

[I] An Incremental Dimensionality Reduction Method for Visualizing Streaming Multidimensional Data [PDF]

维数降维(DR)方法是多维数据分析和可视化的常用方法。然而，当数据是一个实时流媒体，传统的DR方法不能直接使用，因为他们的计算复杂性和不能保持预测的数据位置在以前的时间点。此外，当动态数据记录具有不同的维数时，这个问题就变得更加具有挑战性，就像在实际应用程序中经常发现的那样

本文提出了一种增量DR解。作者团队通过几种方式增强了现有的增量主成分分析方法，以确保其可用于可视化流化多维数据，首先，采用几何变换和动画的方法，在可视化递增时保持观众的心理地图，其次，为了处理数据维数的变化，使用了一种优化的方法来估计投影数据的位置，并且将结果的不确定性传达到可视化中的。最后用两个真实数据集的案例研究来证明设计的有效性

[S] TTHRESH: Tensor Compression for Multidimensional Visual Data [PDF]

在可视化应用程序中，内存和网络带宽是处理高分辨率多维数据集的决定性瓶颈，它们越来越需要合适的数据压缩策略。本文针对常规网格上的多维数据，提出了一种新的有损压缩算法。它利用高阶奇异值分解(HOSVD)，将奇异值分解推广到三维及更高的奇异值分解，并结合位平面、行程长度和算术编码来压缩HOSVD变换系数。本文的方案在低到中比特率的情况下，特别平滑地降低数据，并实现比其他最先进的算法更低的平均平方误差，因为它在数据归档和可视化管理中是必需的。该算法的进一步优势包括非常细的比特率选择粒度和在压缩域中以非常小的代价操作数据的能力，例如重构所有(或选定部分)数据集的过滤和/或下采样版本

[V] Selection Bias Tracking and Detailed Subset Comparison for High-Dimensional Data [PDF]

大型、复杂数据集的收集已经成为广泛领域的普遍现象。可视化分析工具在探索和回答有关这些大型数据集的复杂问题方面发挥着越来越重要的作用。然而，许多可视化设计并不是为了同时可视化复杂数据集中出现的大量维数。这一事实，再加上许多可视化分析系统的能力，使得基于一小部分可视化维度的快速、特别的组或组的指定成为可能。这导致引入选择偏差的可能性——当用户基于一组指定的维度创建队列时，许多其他未见的维度之间的差异也可能被引入。这些非预期的副作用可能导致队列不再代表拟研究的更大人群，从而对后续分析的有效性产生负面影响。

本文介绍了选择性偏差跟踪和可视化技术，这些技术可以整合到高维探索性视觉分析系统中，重点关注具有现有数据层次结构的医疗数据。这些技术包括：(1)基于树的队列来源和可视化，包括一个用户指定的基线队列，所有其他队列进行比较，队列“漂移”的可视化编码，这表明在哪里可能发生选择偏差; (2)一组可视化，包括一种新的基于冰柱图的可视化，用于详细比较基线和用户指定的焦点队列之间的每维度差异。这些技术被集成到一个医学时间事件序列可视化分析工具中。本文提供了示例用例，并报告来自领域专家用户访谈的结果

[V] Visual Analysis of High-Dimensional Event Sequence Data via Dynamic Hierarchical Aggregation [PDF]

时间事件数据在广泛的领域中收集，并且开发了各种可视化分析技术来增强分析人员处理这种形式的数据的能力。这些技术通常显示对共享公共模式的事件序列集计算的聚合统计信息。然而，现实世界中许多事件序列数据集的高维性阻碍了这些技术的有效聚合。应对这一挑战的一种常见策略是在可视化之前将事件类型组合在一起，作为一个预处理过程，以便在分析中将每个事件类型表示为单个事件类型。但是，将这些事件分组计算为预处理过程也给分析带来了很大的限制。

这篇文章提出了一种新的动态层次维数聚集可视化分析方法，该方法利用预定义的维度层次结构来计算量化运行时层次结构中分组的可选级别的信息(相对于感兴趣的度量)。主要贡献包括为特定分析上下文交互式地确定信息最丰富的事件分组集的算法，以及带有基于优化布局算法的香味(scented)分散焦点可视化设计，该算法支持对可选事件类型分组的交互式分层探索

Construction

[I] Construct-A-Vis: Free-Form Visualization Creation for Children [PDF]

建立数据分析技能是现代小学课程的一部分。最近的研究探索了如何通过突出具体映射和抽象映射之间的联系的完成练习来促进儿童对视觉数据表示的理解。这种方法通过向儿童展示一个目标可视化来搭建可视化活动的支架。但是，怎样才能让孩子们参与到更自由形式的视觉数据制图练习中来呢? 如何构建一个创造性的探索可视化技术和地图的可能性?

本文展示了一个基于平板电脑的工具Construct-A-Vis，旨在探索与小学儿童进行自由形式和建设性可视化活动的可行性。vis提供了可调级别的脚手架可视化映射过程，它可以供孩子单独使用，也可以作为合作活动的一部分。一项针对小学儿童单独或成对使用Construct-A-Vis单独和成对强调这种自由形式的建设性方法的潜力，在孩子们的各种可视化结果和他们对数据和绘图过程的关键参与中可见。基于研究结果，作者团队对儿童自由形式可视化工具的设计贡献了见解，包括基于工具的脚手架机制的作用，以及指导儿童可视化活动的共享交互

[I] Decoding Complex Visualizations in Science Museums – An Empirical Study [PDF]

本文描述了博物馆参观者解码过程的详细分析，因为他们使用可视化设计来支持对一个大型、复杂的数据集的探索。定量和定性分析显示，访客平均要花43秒的时间来解读足够多的可视化数据，以了解隐含数据中的模式和关系，而要花54秒的时间来得到他们第一次正确的数据解读。此外，游客在整个过程中都在解码，而不仅仅是在最初使用可视化的时候。该研究分析了有声思维的数据，以确定游客在将视觉表征映射到他们的预期参照对象时所遇到的问题，研究了这些问题发生的原因，并考虑了这些解码问题是否以及如何得到解决。本文还描述了多种视觉编码是如何帮助和阻碍解码的，并总结了非正式科学学习场所视觉化设计和适应的启示

[I] Investigating Direct Manipulation of Graphical Encodings as a Method for User Interaction [PDF]

本文研究直接操作图形编码作为一种与可视化交互的方法。人们对开发可视化工具越来越感兴趣，这些工具使用户能够通过直接操作图形编码来执行操作，而不是像复选框和滑块这样的外部小部件。此类工具的设计者必须决定应该支持哪些直接操作，并确定如何调用每个操作。然而，对于人们如何使用图形编码的直接操作来传达他们预期的操作，我们缺乏经验指导方针。本文通过进行定性研究来解决这个问题，研究参与者如何使用直接操作标准图形编码执行15个操作。

从这项研究中，1)确定了人们用于执行每项操作的策略列表，2)观察跨操作策略的共性，3)得出启示，以帮助设计者利用图形编码的直接操作作为用户交互的一种方法

[S] Artifact-Based Rendering: Harnessing Natural and Traditional Visual Media for More Expressive and Engaging 3D Visualizations [PDF]

本文介绍了基于人工渲染(ABR)，一种工具、算法和流程的框架，它使使用完全源自传统物理媒体或在自然中创建的颜色、线条、纹理和形式的视觉语言产生真实的、数据驱动的3D科学可视化成为可能。ABR的理论和过程被提出来解决三个当前的需求:(i)设计更好的可视化，使非程序员能够快速地设计和评论许多可供选择的数据到可视化的映射;扩大科学可视化中使用的视觉词汇，以描述日益复杂的多变量数据;(iii)为数据可视化带来更迷人、更自然、更人性化的手工美学。支持ABR的新工具和算法包括用于构建基于人工的色彩地图、优化用于数据可视化的3D扫描网格以及从人工制品合成纹理的前端小应用程序。这些都是由一个交互式渲染引擎与定制算法和界面，展示了多种新的视觉风格描绘点，线，表面和体积数据补充。一项研究团队内部的设计研究提供了可视化设计过程的早期证据，ABR被认为可以使传统的科学可视化系统相比较。用户对气候科学和脑成像应用的定性反馈支持ABR在科学发现和公众传播方面的应用

[V] Origraph: Interactive Network Wrangling [PDF]

网络是思考许多数据集的一种自然方式。然而，网络所基于的数据很少以适合分析过程的形式收集，因此有必要创建和重塑网络。数据角力是数据分析管道中公认的重要组成部分，但交互式网络角力在可视化研究领域中却很少受到关注。

本文讨论了网络数据集纠集(wrangling)的一组重要操作，并介绍了一种可视化的数据纠集(wrangling)工具Origraph，这使得分析人员能够将这些操作应用到他们的数据集，关键操作包括从源数据(如表)创建网络、通过引入新节点或边类来重塑网络、过滤节点或边以及派生新节点或边属性。Origraph使分析人员可以执行这些操作，几乎不需要编程，并立即可视化结果。Origraph提供视图来调查网络模型，一个网络样本，节点和边缘属性，此外还引入了一些接口，旨在帮助分析人员为合理的网络争吵操作指定争论点，本文在两种情况下演示了定向仪的有用性：首先，调查了电影行业中的性别偏见，然后是金钱对也门战争的政治支持的影响

Immersion and Virtual Environments

[I] MARVisT: Authoring Glyph-based Visualization in Mobile Augmented Reality [PDF]

移动增强现实(AR)技术的最新进展为个人可视化提供了新的思路，其优势在于将可视化融入个人日常生活，将可视化置于现实环境中，并引起用户的兴趣。然而，让非专业人士在移动AR环境中创建数据可视化是一项挑战，因为缺乏支持数据与AR内容绑定的现场设计工具。大多数现有的增强现实创作工具需要在个人电脑上工作，或者手工创建每个虚拟对象并修改其可视化属性。

本文根据AR符号的可视化创作工具的特殊性总结出四个设计注意事项，对这一问题进行了系统的研究。根据这些设计考虑，团队设计并实现了MARVisT，一个移动创作工具，它利用来自现实的信息来帮助非专家处理数据和虚拟符号，真实对象和虚拟符号，以及真实对象和数据之间的关系。有了MARVisT，没有可视化专业知识的用户可以将数据绑定到真实世界的对象，从而快速、毫不费力地创建富有表现力的基于AR图形的可视化，用数据重塑真实世界的表现形式。我们用几个例子来展示奇迹的表现力。用户研究与非专家也进行评估的创作经验的MARVisT

[I] Designing for Mobile and Immersive Visual Analytics in the Field [PDF]

数据收集和分析对于环境科学和公共安全等领域的运作至关重要。然而，现场工作者在高效收集和分析现场数据时，目前面临着面向数据和平台的问题，如连接有限、屏幕空间有限、注意力资源有限等

在本文中，探索了可视化分析工具如何通过更深入地将数据集成到现场实践中来改变现场实践。团队使用结合移动、云和浸入式分析组件的设计探针，与来自5个领域的10位专家进行访谈，以探索可视化分析如何支持该领域的数据收集和分析需求。结果确定了当前方法的缺点，目标场景和未来现场分析系统的设计考虑。团队将这些发现体现在FieldView中，这是一个可扩展的、开放源码的原型，设计用于支持对位置字段分析的关键用例。研究结果表明，将移动和沉浸式技术集成在一起的潜力，可以增强数据在各种野外作业中的实用性，也可以为可视化分析工具提供新的方向，从而改变野外工作的面貌

[I] Evaluating an Immersive Space-Time Cube Geovisualization for Intuitive Trajectory Data Exploration [PDF]

时空立方体使分析人员能够清晰地观察到地理可视化中运动轨迹数据集的时空特征。然而，缺乏深度线索、陡峭的学习曲线以及对高效的3D导航的需求，都影响了它的一般可用性

在这项工作中，团队研究浸入式分析领域中的一个时空立方体。基于对之前工作的回顾和选择适当的探索隐喻，构建了一个原型环境，其中立方体与分析师真实办公桌的虚拟表示相结合，使用空中手势直观地控制空间和时间的缩放和平移。在一项用户研究中，团队将沉浸式环境与基于桌面的实现进行了比较，20名参与者参与了针对不同用户界面特性的7项不同难度的任务。为了研究杂波的存在如何影响性能，本文探索了两种具有不同数量轨迹的情况。虽然大多数任务的定量表现是相似的，但当分析交互模式和考虑主观指标时，就会出现巨大的差异。身临其境的时空立方体获得了更高的可用性分数，更高的用户偏好，并且被认为有更低的精神负荷，在25分钟的虚拟现实会话中不会让参与者感到不适

[I] The Impact of Immersion on Cluster Identification Tasks [PDF]

最近的技术发展鼓励使用头戴式显示器(HMDs)作为一种媒介来探索虚拟现实(VRs)中的可视化。与传统的计算机屏幕相比，VR环境(VREs)提供了新的、更具身临其境感的可视化设计空间。以往在医学、心理学、地质学等不同领域的研究都报告了浸入式学习对学习表现或恐惧症治疗效果的积极影响

在这篇论文中提出的工作评估了这些发现对来自信息可视化(InfoVis)领域的共同任务的适用性，团队进行了一项定量的用户研究，以调查沉浸感对散点图可视化中聚类识别任务的影响。主要的实验由18名参与者进行，他们在被试中使用了四种不同的视觉效果，(1)屏幕上的二维散点图矩阵，(2)屏幕上的三维散点图，(3)VRE作品中的三维散点图缩影，(4)VRE作品中的完全沉浸式三维散点图。四个可视化设计空间的沉浸程度不同，如补充研究所示。本研究的主要研究结果显示，被调查的视觉化设计空间在准确性、效率、记忆性、方向感和用户偏好等方面的任务表现有所不同。特别是，就测量变量而言，屏幕上2D可视化的表现要比3D可视化差。研究表明，在3D数据和聚类检测的背景下，浸入性水平的提高可以带来实质性的好处

[I] There Is No Spoon: Evaluating Performance, Space Use, and Presence with Expert Domain Users in Immersive Analytics [PDF]

沉浸式抽象分析将用户周围的空间变成了数据分析的画布，以多种方式支持人类的认知能力。本文展示了一项设计研究、背景调查和纵向评估的结果，涉及专业经济学家使用虚拟现实(VR)系统多维可视化来探索实际经济数据。评估结果强调了空间的不同使用取决于环境(探索与展示)，空间的组织来支持工作，以及沉浸感对三维分析空间中的导航和方向的影响

[S] Deadeye Visualization Revisited: Investigation of Preattentiveness and Applicability in Virtual Environments [PDF]

视觉化依靠高亮来吸引和引导我们的注意力。为了使一个感兴趣的物体独立于许多干扰物中脱颖而出，潜在的视觉线索，例如颜色，必须具有先注意性，在之前的工作中，团队介绍了Deadeye作为一种即时可识别的高亮技术，它通过仅为一只眼睛渲染目标物体而工作。与之前的方法不同，死眼的优点是不改变目标的任何视觉属性。但是，在2D可视化的情况下，该方法需要额外的设置来允许dichoptic表示，这是一个相当大的缺点。作为社区请求的后续，本文探索了Deadeye作为3D可视化的突出显示技术，因为这样的立体场景支持开箱即用的dichoptic表示。死眼抑制目标物体的双目差异，因此不能假定技术的适用性作为一个既定的事实。基于这一动机，本文提出了虚拟现实中死眼的定量评估，包括具有多个异质干扰的配置，作为一个重要的鲁棒性挑战。在确定了这种真实环境下的保留先验(平均精度均在90%以上)后，团队探索了VR体绘制作为Deadeye应用场景的实例。本文为集成技术描述了一个可能的工作流程，进行了一个探索性的调查来证明好处和限制，最后提供了相关的设计含义

Planning and Situational Awareness

[I] A Systematic Review of Visualization in Building Information Modeling [PDF]

建筑信息建模(BIM)采用数据丰富的3D CAD模型进行大型设施的设计、施工和运营。这些复杂的数据集包含大量和各种各样的信息，从设计规范到实时传感器数据。他们被建筑师和工程师用于各种分析和模拟整个设施的生命周期。可以使用来自不同可视化领域的许多技术来分析这些数据，然而，BIM领域在很大程度上仍未被可视化界所探索。这篇文章的目的是鼓励可视化研究人员增加对BIM的参与

为此，本文介绍了当前BIM实践中可视化的系统回顾结果，使用一种新的分类法来识别主要的应用领域并分析常用的技术。从这个领域的描述中，本文强调了BIM的独特特征带来的未来研究机会。例如，探索科学和信息可视化之间的协同作用，以集成空间和非空间数据。作者希望这篇文章能让人们意识到BIM领域给可视化社区带来的有趣的新挑战

[V] PlanningVis: A Visual Analytics Approach to Production Planning in Smart Factories [PDF]

制造业的生产计划对于充分利用工厂资源(如机器、原材料和工人)和降低成本至关重要。随着工业4.0的到来，大量记录工厂资源状况的数据被收集起来，并进一步参与到生产计划中，这为通过数据驱动的方法理解、评估和调整复杂的生产计划带来了前所未有的机会。然而，由于生产数据量大，产品之间的复杂依赖关系，以及市场和工厂的意外变化，开发一个系统的生产计划分析方法是具有挑战性的。以往的研究只提供了总结的结果，没有提供生产计划对比分析的细节。此外，在意外事件发生时快速调整计划也不被支持

本文提出PlanningVis视觉分析系统，以支持生产计划的探索和比较三个级别的细节:一个计划概述呈现整体计划的区别，产品视图可视化各个产品的各项性能，和生产细节视图显示产品的依赖和日常生产细节相关的工厂，PlanningVis通过将自动规划算法与交互式可视化探索相结合，可以促进日常生产计划的高效优化，并支持对生产过程中意外事件的快速响应。两个案例研究与现实数据和精心设计的访谈领域专家证明了计划vis的有效性和可用性

[V] sPortfolio: Stratified Visual Analysis of Stock Portfolios [PDF]

建立在稳健的金融理论基础上的定量投资，是当今投资行业的中心舞台。定量投资的本质是多因素模型，它解释了股票的风险和收益之间的关系。然而，多因素模型产生了大量的因素数据，即使是经验丰富的投资组合经理也很难驾驭这些数据。这导致投资组合分析和因素研究受到缺乏直观的视觉分析工具的限制。以往的投资组合可视化系统主要关注投资组合收益和股票持有量之间的关系，这对于做出可操作的洞察或了解市场趋势是不够的

本文提出了sPortfolio，据作者所知，这是第一个试图探索因素投资领域的可视化。特别是，sPortfolio提供了因素数据的整体概述，旨在促进三个不同水平的分析:风险因素水平，用于一般市场情况分析;多投资组合层次，用于理解投资组合策略;和单一投资组合水平，用于调查详细的操作。通过三个案例研究，验证了系统的有效性和可用性。该系统已通过试点研究，很快将投入工业生产

XAI and Fairness

[V] explAIner: A Visual Analytics Framework for Interactive and Explainable Machine Learning [PDF]

本文提出了一个交互式和可解释的机器学习框架，使用户能够(1)理解机器学习模型;(2)使用不同可解释AI方法诊断模型局限性;以及(3)对模型进行细化和优化

本文框架结合了一个迭代的XAI管道和8个全局监测和指导机制，包括质量监控、源头跟踪、模型比较和信任建立。为了实现框架的操作，提出了explAIner，这是一个用于交互式和可解释的机器学习的可视化分析系统，它实例化了常用的TensorBoard环境中建议管道的所有阶段，本文进行了一个用户研究，有9个不同专业水平的参与者，以检查他们对工作流的看法，并收集建议来填补系统和框架之间的差距

[V] FairSight: Visual Analytics for Fairness in Decision Making [PDF]

数据驱动的个人决策越来越普遍，但最近的研究提出了有关潜在歧视的问题。作为回应，研究人员已经努力提出和实施公平措施和算法，但这些努力还没有转化为实际的数据驱动决策。因此，仍然迫切需要创造一种可行的工具来促进公平决策。

本文提出了一个可视化分析系统FairSight来满足这一需求;它旨在通过确定所需的行动——理解、测量、诊断和减轻偏见——来实现决策排序的不同公平概念，这些行动共同导致更公平的决策。通过实例研究和用户研究，证明了系统中所提出的可视化分析和诊断模块能够有效地理解公平感知决策流程，获得更公平的决策结果

[V] Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations [PDF]

深度学习越来越多地用于决策任务。然而，理解神经网络如何产生最终的预测仍然是一个基本的挑战。现有的解释神经网络对图像的预测的工作通常集中在解释单个图像或神经元的预测。由于预测通常是通过对数百万幅图像进行优化的数百万权重进行计算，这样的解释很容易忽略更大的图像

本文展示的SUMMIT是一个交互式系统，它可以大规模、系统地总结和可视化深度学习模型已经学习的特征，以及这些特征如何相互作用，从而做出预测，SUMMIT介绍了两种新的可伸缩总结技术:(1)激活聚合发现重要的神经元，(2)神经元影响聚合识别这些神经元之间的关系。SUMMIT结合了这些技术来创建一个新颖的属性图，它揭示和总结了对模型结果有贡献的关键神经元联系和子结构。SUMMIT扩展到大型数据，例如具有1.2M图像的ImageNet数据集，并利用神经网络特性可视化和数据集示例帮助用户将大型、复杂的神经网络模型提取为紧凑的交互式可视化。本文提出了神经网络探索场景，其中SUMMIT帮助发现了一个普遍的、大规模图像分类器学习表示的多种惊人见解，并为未来的神经网络架构设计提供了信息。SUMMIT visualization在现代web浏览器中运行，并且是开源的

[V] FairVis: Visual Analytics for Discovering Intersectional Bias in Machine Learning [PDF]

随着机器学习能力和可访问性的不断增强，它已经被应用到许多真实世界的领域和关于人的数据中。尽管算法系统可能带来好处，但模型可以反映、注入或加剧其输出中隐含或明确的社会偏见，使某些人口统计亚群体处于不利地位。发现一个机器学习模型引入了哪些偏差是一个巨大的挑战，因为有许多关于公平的定义和大量可能受到影响的子群体。

本文提出FAIRVIS，一个混合首创的视觉分析系统，集成了一种新颖的子组发现技术，使用户可以审计机器学习模型的公平性，通过FAIRVIS，用户可以利用领域知识来生成和研究已知的子组，以及探索建议的和相似的子组，FAIRVIS的协调视图使用户能够探索子组性能的高级概述，并随后深入到特定子组的详细研究中，本文展示了FAIRVIS如何帮助发现用于预测收入和再犯的两个真实数据集的偏差。作为一个致力于发现机器学习偏差的视觉分析系统，FAIRVIS展示了交互式可视化如何帮助数据科学家和普通公众理解和创建更公平的算法系统

[V] Visual Genealogy of Deep Neural Networks [PDF]

对现有的深度神经网络(DNNs)进行全面和可理解的总结，有助于从业者理解DNNs的行为和进化，为结构优化提供见解，并阐明DNNs的工作机制。然而，由于DNN体系结构的复杂性和多样性，这种总结很难得到

为了解决这个问题，本文提出DNN系谱，一个交互式可视化工具，提供一个具有代表性的DNN及其进化关系的可视化摘要。DNN Genealogy使用户能够从多个方面学习DNNs，包括建筑、性能和进化关系。该工具的核心是基于我们对140篇论文的分析，对66个具有代表性的DNNs进行系统分析和可视化，一个有向无环图用于说明这些DNNs之间的进化关系，并突出有代表性的DNNs。在用户探索过程中，开发了一个焦点+上下文可视化来定位用户，图中使用了一组网络符号，便于理解和比较进化上下文中的DNNs。案例研究表明，DNN系谱学为理解、应用和优化DNN提供了有益的指导。DNN系谱是可扩展的，并将继续更新，以反映未来的进展在DNNs

Vis for Software and Systems

[V] CloudDet: Interactive Visual Analysis of Anomalous Performances in Cloud Computing Systems [PDF]

检测和分析云计算系统中可能出现的异常性能，对于避免给客户造成损失，确保系统高效运行至关重要。为此，开发了各种自动化技术来识别云计算性能中的异常情况。这些技术通常用于跟踪系统的性能指标(例如CPU、内存和磁盘I/O)，这些指标由多元时间序列表示。然而，由于云计算数据的复杂特性，这些自动化方法的有效性受到了影响。因此，异常解释需要人工对自动分析结果进行大量判断

本文提出了一个统一的可视化分析系统CloudDet，用于交互地检测、检查和诊断云计算系统中的异常。基于给定度量数据的特定时间模式(如周期模式)，开发了一种新的无监督异常检测算法来识别异常，其结果将在系统中可视化，以表明异常的发生。丰富的可视化和交互设计被用来帮助理解空间和时间环境中的异常。团队通过定量评估、两个使用真实数据的案例研究和与领域专家的访谈来证明CloudDet的有效性

[I] Visualizing a Moving Target: A Design Study on Task Parallel Programs in the Presence of Evolving Data and Concerns [PDF]

可视化项目中常见的陷阱包括缺乏数据可用性、领域用户的需求和关注点变化太快，以致于无法完成设计过程。虽然避免这样的项目通常是谨慎的，但作者认为在某些情况下使用它们是有益的，因为可视化过程可以帮助细化数据收集，解决拥有数据和工具来分析它的“鸡和蛋”问题。本文发现，这是在任务并行计算领域的情况下，这样的数据和工具是一个开放的研究领域。尽管存在这些障碍，团队还是进行了设计研究。通过紧密耦合的迭代设计过程，构建了Atria，一个支持性能分析的多视图执行图形可视化。Atria通过聚集与代码行相关的节点来简化执行图的初始表示。作者团队在多个平台上部署了Atria，有些需要修改设计。本文将描述如何调整设计研究方法以适应数据和领域专家关注的“移动目标”，以及这种移动如何保持可视化和编程项目的健康。团队对过程进行反思，并讨论在数据和用户需求不断变化的情况下，哪些因素使项目能够成功

[I] How People Visually Represent Discrete Constraint Problem [PDF]

尽管现有的约束解决软件在许多情况下可以快速地解决比如时间表或人员分配的问题，但这些系统涉及到需要大量时间和精力来学习和应用专门语言，这些语言通常是基于文本的，很难快速解释和理解，特别是对于没有工程或数学背景的人。可视化为建模和理解这类问题提供了另一种方法。虽然面向过程化语言的可视化编程语言有很多，但问题规范的可视化编码一直没有得到足够的重视

作为这类语言的第一步，团队进行了一项研究，将人们如何用图形表示约束问题进行了分类。本文研究了具有不同专业知识的三组人:非计算机科学家、计算机科学家和约束程序员，并分析了他们在纸上的标记(如箭头)、手势(如指向)和到问题概念的映射(如容器、集合)。本文提供基础来指导未来的工具设计，使人们能够通过可视化表示有效地掌握、建模和解决问题

[I] Preserving Command Line Workflow for a Package Management using ASCII DAG Visualization [PDF]

包管理器通过消除成功地构建、安装和维护系统软件的耗时的、有时甚至是完全禁止的障碍，从而提供了对应用程序的轻松访问。包依赖关系包含构建和运行目标软件所需的所有包之间的依赖关系。包管理系统开发人员、包维护人员和用户可能会在简单的列表不足以进行分析时查阅依赖关系图。然而，在远程命令行环境中工作的用户必须中断他们的工作流，以便在图形程序中可视化依赖图，可能需要在设备之间移动文件或引起转发延迟。Spack用户的情况就是如此，Spack是一种开源包管理系统，最初开发它是为了简化超级计算环境所需的复杂构建。为了保持Spack的命令行工作流，团队开发了一个交互式的ASCII可视化依赖图，通过与Spack维护者的访谈，确定了依赖关系图的用户目标和相应的可视化任务。团队通过以命令行为中心的研究来评估可视化的使用情况，并将其与系统现有的两种方法进行比较。团队观察到，尽管ASCII表示有限制，但参与者在从命令行界面工作流接近本文的可视化时更喜欢

[S] Inviwo - A Visualization System with Usage Abstraction Levels [PDF]

当今可视化应用程序的复杂性要求为这些应用程序的开发量身定制特定的可视化系统。通常，这类系统利用抽象级别来改进应用程序开发过程，例如通过提供数据流网络编辑器。不幸的是，这些抽象会导致一些问题，需要通过以抽象为中心的系统设计来绕过这些问题。通常，高级抽象隐藏了低级细节，这使得直接访问底层计算平台变得困难，而底层计算平台对于实现最佳性能非常重要。因此，本文提出了一种为现代和可持续的可视化系统开发的层结构，允许开发人员与所有包含的抽象层进行交互。作者将这种交互功能称为使用抽象级别，因为目标是具有不同经验级别的应用程序开发人员。本文制定了这样一个系统的需求，推导出所需的架构，并展示了这些概念是如何在Inviwo可视化系统中示范性地实现的

[V] Exploranative Code Quality Documents [PDF]

良好的代码质量是有效开发可维护软件的先决条件。本文提出了一种新的方法来生成探索性(解释性和探索性)数据驱动文档，在交互式的、探索性的环境中报告代码质量。本文使用基于模板的自然语言生成方法来创建关于代码质量的文本解释，依赖于来自软件度量的数据。交互式文档通过不同的可视化方式得到丰富，包括用于数据探索的平行坐标图和散点图以及嵌入到文本中的图形。团队设计了一种交互模型，允许用户通过文本和可视化之间的一致链接来探索代码质量;通过集成的解释性文本，用户被教导有关代码质量方面的背景知识。本文的交互式文档的方法是在一个设计研究过程中开发的，包括软件工程和视觉分析专家。尽管该解决方案是特定于软件工程场景的，但团队讨论了如何将该概念推广到多元数据，并在更广泛的范围内报告经验教训

Large Data and Dimensionality Reduction

[I] OntoPlot: A Novel Visualisation for Non-hierarchical Associations in Large Ontologies [PDF]

本体是概念和概念之间复杂关系的正式表示。它们被广泛用于捕获诸如生物学和医学等领域的全面领域知识，在这些领域中大型而复杂的本体可以包含成百上千个概念。特别是由于本体的规模很大，可视化对于创作、探索和理解它们的底层数据非常有用。现有的本体可视化工具通常侧重于层次结构，对非层次关联的重视程度低得多

本文提出了OntoPlot，一种新颖的可视化设计，旨在促进所有概念关联的探索，同时仍然显示本体的大型层次结构。这种混合的视觉效果结合了冰柱情节、视觉压缩技术和交互性，提高了空间效率，降低了视觉结构的复杂性，团队与领域专家进行了一项用户研究，以评估OntoPlot的可用性，并将其与事实上的本体编辑器Prot’eg’e进行比较。结果表明，OntoPlot达到了对关联相关任务的设计目标，受到了领域专家的强烈青睐。

[I] P5: Portable Progressive Parallel Processing Pipeline for Interactive Data Analysis and Visualization [PDF]

本文提供了一个基于web的可视化工具包P5，它结合了声明性可视化语法和GPU计算，用于渐进式数据分析和可视化。为了交互式地分析和探索大数据，渐进式分析和可视化方法最近出现了。逐步细化结果的渐进式可视化具有允许用户控制分析过程和做出早期决策的优势。P5利用声明式语法来指定可视化设计，并利用GPU计算来加速数据的渐进处理和呈现。可以在渐进处理期间修改声明性规范，以创建用于分析中间结果的不同可视化。为了实现用户交互来进行渐进式数据分析，P5利用GPU基于声明式交互规范自动聚合和索引数据，以促进有效的交互可视化。本文通过各种示例应用程序和几个性能基准测试来演示P5的有效性和有用性

[I] RSATree: Distribution-Aware Data Representation of Large-Scale Tabular Datasets for Flexible Visual Query [PDF]

为了可视化和分析大型数据集，分析人员通常会研究由图表(例如直方图和bin - ned散点图)表示的数据统计聚合而来的数据分布。聚合查询通过这样一个流程隐式地执行。数据集总是非常大; 因此，应该通过计算预定义的数据集来加快响应时间。但是，查询仅限于预处理数据集的预定义绑定模式。这种局限性阻碍了分析人员灵活地调整可视化规范，以有效地研究数据中的隐式模式。

RSATree允许任意查询和灵活的装箱策略利用三个方案，即一个R-tree-based空间分区方案捕捉数据分布,locality-sensitive散列技术实现保随机访问数据项，和总结区域表方案支持交互式查询聚合值和一个线性计算复杂度，本研究提出并实现了一个基于web的可视化查询系统，该系统支持可视化规范、查询和探索具有用户可调粒度的大型表格数据。作者团队通过在真实数据集上进行各种实验并分析时间和空间复杂度来证明我们的方法的效率和效用。

Scatterplots

[V] ScatterNet: A Deep Subjective Similarity Model for Visual Analysis of Scatterplots [PDF]

相似度测量方法广泛应用于各种可视化应用中。在这项工作中，作者团队通过引入一种新的基于深度学习的方法来解决在散点图的视觉分析中表现人类感知的挑战，ScatterNet，抓住了这些情节中感知驱动的相似性。该方法利用深度神经网络提取散点图图像的语义特征，进行相似度计算。团队创建一个包含相似和不同散点图图像的大型标记数据集来训练深度神经网络，并进行了一系列评估，包括性能实验和用户研究，以证明方法的有效性和效率。评估结果表明，学习的特征有效地捕捉了人类对散点图相似度的感知，本文描述两个场景来展示如何将ScatterNet应用于视觉分析应用程序

[I] A Recursive Subdivision Technique for Sampling Multi-class Scatterplots [PDF]

本文提出了一种非均匀递归采样技术用于多类散点图，其具体目标是在保留主要异常值的情况下，忠实地呈现相关数据和类密度。该技术基于一个定制的二进制kd-树，其中的叶节点是通过递归地细分底层的多类密度图来创建的。通过回溯合并叶节点，直到它们包含所有类的点，为随后应用的离群感知多类抽样策略。定量评价表明，与以往的方法相比，该方法能更好地保留多类散点图中的异常值和相对密度，多个实例研究表明了本文方法在探索复杂和真实世界数据方面的有效性

[I] Data Sampling in Multi-view and Multi-class Scatterplots via Set Cover Optimization [PDF]

本文提出了一种在散点图中对不同视图或类进行联合优化点选择的数据采样方法，本文方法使用空间填充曲线(z级曲线)，将一个点集划分为子集，当每个子集被一个样本覆盖时，提供一个与原始点集具有良好近似保证的采样或共重置，对于多个视图的散点图矩阵，不同的视图提供不同的空间曲线，导致不同分区的给定的点集。多散点图、关注每个类分布或全球分销提供了两种不同分区的给定的点集，需要考虑在coreset的选择。对于这两种情况，团队将协同重置选择问题转化为精确选择问题覆盖问题(ECP)，并通过定量和定性评估证明有效解决ECP的近似解决方案能够提供高质量的采样

[I] Discriminability Tests for Visualization Effectiveness and Scalability [PDF]

特定可视化方法的可伸缩性受到人们辨别不同数据集绘制的图之间差异的能力的限制。理想情况下，当数据发生变化时，可视化会以可察觉的方式发生变化。当编码与所查看的数据集的字符不匹配时，此关系将失效。不幸的是，可视化的设计和评估往往没有充分探索它们将如何对各种各样的数据集作出响应。本文探讨了一种图像相似度度量的使用，多尺度结构相似度指数(MS-SSIM)，用于测试不同数据集的数据可视化的可判别性。MS-SSIM能够捕获跨多个尺度的两个可视化的相似性，包括低级别的粒度变化和高级模式。MS-SSIM没有捕捉到的重要数据更改表明可视化的可识别性和有效性较低。两项实证研究证明了该措施的效用。首先，团队比较人类相似度判断和MS-SSIM分数的散点图集合，在第二阶段，作者计算一组基本可视化的可区分性值，并将它们与有效性的经验测量值进行比较。在这两种情况下，分析表明计算测度能够近似经验结果。本文方法可用于对竞争性编码的可辨别性进行排序，并帮助为特定类型的数据分布选择可视化

[I] Winglets: Visualizing Association with Uncertainty in Multi-class Scatterplots [PDF]

这项工作提出了Winglets，一种对经典散点图的增强，通过提高对相关聚类的关联和不确定性感知来更好地感知多个类的发音。Winglets被设计成一对属于数据点的双侧笔触，利用完形闭合原理来塑造簇的形状，而不是使用明确的分裂编码。通过对长度和方向这两个主要属性的巧妙设计，Winglets使观众能够完成集群的心理完成。在受控用户研究中，研究了Winglets感知簇关联和某些点的不确定性的效率。结果表明，Winglets形成了更显著的聚类关联点，提高了关联不确定性的感知