产品介绍

　　近期，围绕人工智能和深度学习模型，iDVX实验室基于叙事可视化方向的一系列研究成果，研发了呈现数据叙事逻辑关联的可视化预训练模型，并据此撰写了相关论文《Chart2Vec: A Universal Embedding of Context-Aware Visualizations》。目前该论文已被IEEE TVCG正式录用。本论文由实验室的陈晴老师，硕士研究生陈颖、帅薇，博士研究生郭熠、王嘉喆（阿里集团和蚂蚁集团高级技术专家），本科实习生邹睿石共同合作，历时一年完成。团队从几个主流可视化平台精选了高质量的1098个多图表可视化（共包含6014个单图表），设计并训练了Chart2Vec可视化叙事预训练模型。该模型旨在学习通用的可视化嵌入，并提取上下文感知信息，以支持各种下游应用。

　　鉴于缺乏具备数据叙事逻辑关联的高质量多图表可视化数据集，团队进行了细致的收集筛选，最终收集了1098个符合标准的多图表可视化。同时，我们还公开了此数据集，可于以下网址下载：。该数据集涵盖了经济、体育、社会、健康、、工业、娱乐、食品、教育和生态十个常见主题。

　　通过综合考虑通用性和灵活性等多方面因素，基于我们对相关工作的调研，团队选择以声明性规范的方式作为图表的输入格式。如图2所示，该输入格式为7元组的可视化图表事实。我们将其进一步划分为结构化信息（蓝色标注的文本）和语义化信息（绿色标注的文本）。这种划分背后蕴含着多重考虑，其中结构化信息主要关注于图表的组织和排列方式，而语义化信息则涉及到数据字段和值的具体含义。

　　为了充分捕捉可视化图表所蕴含的丰富信息，本文提出了Chart2Vec模型，其核心包括输入嵌入模块（Input Embedding）和编码器模块（Encoder），如图3（a）所示。在输入嵌入模块中，我们采用独热向量对图表事实的结构化信息进行编码，并使用词向量模型Word2vec对语义信息进行编码。这一步骤将图表事实的信息转化为计算机可识别的向量形式，并分为两个通道处理。在编码器模块中，我们运用特征模糊技术以提取数据的主题信息，利用特征融合来建立结构化和语义化信息之间的关联，同时采用特征转换对数据进行非线性变换以获取更深层次的图表信息。

　　为了学习多图表可视化之间的上下文叙事逻辑关联，我们整合了监督和无监督学习任务，如图3（b）所示。其中，我们使用线性插值损失函数来学习连续连接图表的叙事逻辑关联，并引入三元损失来捕获图表的共现情况。同时，我们采用多任务训练策略联合优化两大任务。

　　Chart2Vec的应用场景广泛，它可以作为一种新的数据格式进行存储和计算，并应用到各种可视化下游任务中，如图4所示:

　　可视化插值：指定前后两个可视化，根据向量计算出中间向量，与搜索空间中的图表向量进行比较选择出距离最近的的作为插值结果。

　　该项工作与蚂蚁集团合作，并在github上开源了相关代码：。目前该算法已经被成功应用于蚂蚁集团内部 BI 工具 DeepInsight 中，为商业分析系统的 AI 能力提供基础技术，提升了决策效率，降低了分析门槛。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。