马哈鱼数据血缘分析工具

article/2025/10/27 16:47:51

1. 马哈鱼数据血缘分析工具简介

马哈鱼数据血缘分析工具(英文名称为 Gudu SQLFlow )是一款用于分析 SQL 语句,并发现其中数据血缘关系的分析软件,经常和元数据管理工具一起使用,是企业数据治理的基础工具。

如果你对 SQL 语言不熟悉,那么本文可能不适合你阅读。

阅读本文无需事先有数据血缘相关的知识,只要把数据血缘关系简单的理解为数据库中两个或多个表之间的数据依赖关系即可。

我们通过分析下面的 SQL 语句,来看看如何梳理出各个表/视图间的数据依赖关系。

INSERT INTO deptsal(dept_no,dept_name,salary)
SELECT d.deptno,d.dname,SUM(e.sal + Nvl(e.comm, 0)) AS sal
FROM   dept dleft join (SELECT *FROM   empWHERE  hiredate > DATE '1980-01-01') eON e.deptno = d.deptno
GROUP  BY d.deptno,d.dname; 

通过分析以上 INSERT SQL 语句,我们可以知道

deptsal 表的数据来源于 dept 和 emp 表。进一步,字段级别的数据依赖(数据血缘)为:

  • deptsal.dept_no 字段的数据来源于 dept.deptno
  • deptsal.dept_name 字段的数据来源于 dept.name
  • deptsal.salary 字段的数据来源于 emp.sal 和 emp.comm

通过马哈鱼数据血缘分析工具,你可以看到可视化的数据血缘关系:

(img-a393abjR-1661348650704)(https://foruda.gitee.com/images/1660970889690117852/屏幕截图.png)]

2. 第一次使用马哈鱼数据血缘分析工具

马哈鱼数据血缘分析软件通过 Web 界面或 Rest API,可以对单个 SQL 语句,多个 SQL 文件,连接到数据库来实时为你分析数据血缘关系。还可以分析 Redshift log, Snowflake query history, DBT 脚本等不同的数据源,快速的发现企业数据平台中的数据血缘关系。

这篇文章我们仅介绍马哈鱼数据血缘分析软件最简单的一种使用方法,只要简单的三步,马上可以从复杂的 SQL 语句中发现完整清晰的数据血缘关系。

第一步:输入 SQL 语句。

复制粘贴需要分析的 SQL 语句到马哈鱼数据血缘分析软件中的 SQL Editor中。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QA7lm2UJ-1661348650705)(https://foruda.gitee.com/images/1660971465578851942/屏幕截图.png)]

第二步:选择对应的数据库种类。

选择该 SQL 语句对应的数据库类型,以帮助马哈鱼数据血缘分析软件准确的分析输入的 SQL 语句。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QI58kIHS-1661348650706)(https://foruda.gitee.com/images/1660971565427592993/屏幕截图.png)]

第三步:分析数据血缘。

点击 visualize 按钮,分析输入的 SQL 语句。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3HDzcEMQ-1661348650706)(https://foruda.gitee.com/images/1660971624771428339/屏幕截图.png)]

完成以上三步,你就可以在右侧的主界面中看到图形化、可交互式的非常详细的数据血缘关系结果,并可以点击选择感兴趣的表、视图、字段等进行进一步的查看。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zcLw8IMI-1661348650707)(https://foruda.gitee.com/images/1660971809227519144/屏幕截图.png)]

3. 对数据血缘结果的进一步探索

马哈鱼数据血缘分析软件提供了丰富的参数来按照你的需求,个性化的输出不同的数据血缘关系。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dWFmIo67-1661348650708)(https://foruda.gitee.com/images/1660972182644034475/屏幕截图.png)]

这里,我们仅介绍一个参数以展示马哈鱼数据血缘分析软件的强大功能,其他参数的使用可以参考相关文档。

show transform 参数

show transform 参数用来显示 SQL 语句中进行数据转换的表达式,即目标字段的数据是哪些源数据字段通过哪个表达式转换来的。例如:

SUM(e.sal + Nvl(e.comm, 0)) AS sal

我们可以知道 sal 字段的数据通过 SUM(e.sal + Nvl(e.comm, 0)) 表达式转换而来,源数据字段为 sal 和 comm。

通过打开 show transform 参数,我们可以方便的看到这个转换过程对应的表达式。

在这里插入图片描述

4. 马哈鱼数据血缘分析软件的更多功能

通过在马哈鱼数据血缘分析软件的 SQL Editor 中输入 SQL 语句,可以快速分析 SQL 语句的数据血缘关系,并了解马哈鱼数据血缘分析软件的各项功能,熟悉数据血缘的基本概念。但马哈鱼数据血缘分析软件的还有更多的功能以满足企业数据治理的需求:

  • 一次性分析多个 SQL 文件
  • 连接到数据库实时为你分析数据血缘关系
  • 支持多达 20 多种主流数据库
  • 分析 Redshift log, Snowflake query history, DBT 脚本等不同的数据源,快速的发现企业数据平台中的数据血缘关系
  • 提供 Rest API 接口,和你的数据治理平台快速集成
  • 提供 Java 库,和你的数据治理工具一起部署到最终客户
  • 提供前端 UI 库,为你的数据治理平台快速提供交互式的数据血缘关系展示功能
  • 提供和 datahub 开源元数据管理软件的集成方案

5. 软件界面的主要组成

马哈鱼数据血缘分析软件的主界面:

1

SQL Editor

在代码编辑框输入需要分析的 SQL 代码,点击 dbvendor 菜单选择数据库,点击 visualize 按钮或者 join 按钮,可以绘制对应的图像。

Sample SQL

点击 dbvendor 菜单选择数据库后,点击 sample sql 可以在代码编辑框中获得这个 dbvendor对应的示例 SQL。

Upload

上传一个或多个文件。或者连接数据库,在后台创建一个 job,当 job 处理成功后可以获得对应的结果。

Login

登录按钮,已支持多用户。目前登录功能仅在 SQLFlow SaaS 版本中支持。(https://sqlflow.gudusoft.com)。

Lineage and schema explorer

显示分析 SQL 后获得的 schema 结构。在database、schema、table上点击鼠标右键,可以 visualize 获得选中对象的数据血缘。

3

Main diagram panel

在 main diagram panel 中显示的数据血缘关系图为交互式图形,可以进行更有针对性的操作,获取感兴趣的数据。例如:鼠标左键点击某一列可以固定关联关系,点击cancel可以取消。

3

鼠标右键点击 table lineage、column lineage 可以显示表或列的关联关系,点击cancel可以取消。

3

更多内容可访问马哈鱼数据血缘分析软件的官网 https://sqlflow.gudusoft.com 进行体验。


http://chatgpt.dhexx.cn/article/lAhtjvig.shtml

相关文章

数据分析师常用工具有哪些?初学者必看

我给你一份数据分析师常用工具指南,按照这份指南,小白也能成为数据分析高手! 这是一份入门到熟练的工具指南,并不包含数据挖掘等高阶内容。 Step1:Excel学习掌握 所用的工具正是职场中最常用的Excel! ①重点…

京东数据分析工具推荐(京东第三方数据平台)

京东平台的店铺众多,同行数不胜数。作为商家,如果连自己竞争对手的情况都不知道的话,很难在这个平台存活下去。 那么,这次鲸参谋就来重点说一下我们的京东数据分析工具里的“竞品分析”功能。 竞品分析,主要是对京东店铺运营期间竞…

2019商业数据分析软件有哪些

在当下这个快速发展的信息化时代,对于企业经营来讲,掌握一些大数据分析软件工具来支持经营决策也是至关重要的。 2019年商业数据分析软件有哪些呢?本文列出了市面上最主要的几款数据分析软件。 1.FineBI 目前国内数据分析的佼佼者。FineBI是…

京东数据分析工具(京东销售数据如何查询)

相信很多京东或者天猫商家都会有这样的需求:想要查看各品类的销售数据,行业大盘数据、竞品的各项销售数据、各品类下的爆款商品数据、竞品店铺的数据等等,一些商智无法满足的数据不知道去哪里可以看到。 实际上,可以体验一下那些…

常用的5种数据分析方法有哪些?

常用的数据分析方法有5种。 1.对比分析法 对比分析法指通过指标的对比来反映事物数量上的变化,属于统计分析中常用的方法。常见的对比有横向对比和纵向对比。 横向对比指的是不同事物在固定时间上的对比,例如,不同等级的用户在同一时间购买商…

抖音短视频数据分析报告工具

现下,短视频行业的快速发展,产生了许多短视频领域的创业者。大家都知道,想要做一个有价值的抖音账号,内容质量方面必须要好,除此之外,当然每天的日常的数据分析也是非常的重要。可以通过其他专业的辅助分析…

python数据分析工具

文章目录 python数据分析工具NumPyScipyMatplotlibpandasStatsModelsscikit-learnKerasGensim python数据分析工具 python本身的数据分析功能并不强,需要安装一些第三方扩展库来增强其相应的功能。 python数据分析与挖掘相关的扩展库; 扩展库简介NumP…

Python常用数据分析工具

Python数据分析工具 Python 本身的数据分析功能不强,需要安装一些第三方扩展库来增强它的能力。常用 的库有Numpy 、Scipy 、Matplotlib 、Pandas 、Scikit-Learn 、Keras 和Gensim 等,下面将对 这些库的安装和使用进行简单的介绍。如果你安装的是Anaconda 发行版,那么它已经…

wps2019数据分析加载项_wpsexcel数据分析工具在哪里

WPS中Excel表格的功能非常强大,不仅仅能够统计数据,而且还可以分析数据,这也是我们处理大量数据的最快捷的方法,感兴趣的小伙伴可以来看看哦。 WPS中如何将表格中的数据在表格中以柱状图显示 运用条件格式中数据条即可达到效果 如…

6个常用大数据分析工具集锦

大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息&#…

数据分析的类型有哪些?

数据分析的类别 维度一 在统计学领域,有些学者根据分析的方法和目的,分析可以被划分为描述性分析(descri-ptive analytics)、预测性分析(predictive analytics)和规范性分析(prescriptive ana…

BI数据分析工具

数据分析是指用适当的统计方法对收集的大量数据进行分析,将对它们加以汇总和理解并消化,以求最大的开发数据的功能,发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究概括总结的过程。 今天小编介绍的是现在市面上…

盘点6个主流的数据分析工具,及优缺点对比

本文来跟大家聊聊关于数据分析工具的事儿。 市面上用来做数据分析的工具蛮多的,包括Python、Excel、SPSS、MATLAB、R、BI等等,以下挑几个比较主流的工具,尽量客观的聊聊他们的优缺点。 01 Microsoft Excel 想要了解如何用Excel做数据分析的…

数据分析的常用工具有哪些

大数据分析是研究大量的数据的过程中寻找模式,相关性和其他有用的信息,可以帮助企业更好地适应变化,并做出更明智的决策。下面整理了一些大数据分析能用到的工具,助力大家更好的应用大数据技术。 一、hadoop Hadoop 是一个能够…

拼多多数据分析工具有哪些?拼多多数据分析工具介绍

在如今大数据时代,如果背后没有强大的数据作为依靠,光靠自己单打独斗是很难做大做强,举步维艰。使用大数据分析软件是各位电商朋友们必不可少的辅助工具之一。那么拼多多数据分析工具有哪些?拼多多数据分析工具介绍。 特别是对于…

蓬莱小课:数据分析最常用的5个工具汇总

最近在后台看到很多想进入数据分析领域的朋友私信我,让我帮忙解答一些职业问题。在跟他们的交流中,我发现他们之中70%都是一无所知或刚入门的数据小白,但是都特别积极主动,是真心想学习数据分析。 他们中大部分人都不是为了转行才…

小白看了也会选:数据分析的常见工具有哪些

要进行数据分析就一定离不开数据分析工具。那数据分析的常见工具有哪些呢,现在市面上数据分析工具太多了,很多小白根本不知道该选择哪种工具会比较适合自己学习。况且现在市面上还涌现了非常多新奇的数据分析工具,数据分析的常见工具有哪些呢…

Spring框架搭建实例

1、首先打开官网 2、搭建父子工程项目 3、父POM文件配置依赖包 4、创建核心配置文件 5、编写单元测试 1、首先打开官网 spring官网 找到Spring Framework 找到核心技术Core technologies 或者从这选择相应的版本,选择其文档 最终来到这个页面Core Technologies…

Spring的框架

1.什么是Spring框架 Spring是一个开源的框架,Spring 为简化企业级开发而生,使用 Spring、JavaBean 就可以实现很多以前要靠 EJB 才能实现的功能,同样的功能,在EJB中要通过繁琐的配置和复杂的代码才能够实现,而使用Spri…

搭建SpringBoot框架

一、创建spring initializr项目 file--->new project--->spring initializr--->(阿里云路径https://start.aliyun.com) 默认的springboot版本2.3.7,选中springweb,自动加入springMVC依赖 数据库及mybatis依赖 项目路径…