检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击作业画布中的MRS Spark节点,并切换到“血缘关系”页签。 图2 进入血缘关系页签 在MRS Spark节点的“血缘关系”页签,手动配置血缘的输入表。假如MRS Spark作业中的输入表为“hive”,则血缘输入配置如图3所示。 图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS
搜索:在进行数据分析前,使用数据地图进行关键词搜索,帮助快速缩小范围,找到对应的数据。 详情:使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。 血缘:通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 数据地图 数据权限 为确保数据使用
数据安全可满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求,不同角色用户使用数据安全的场景如图2所示。 图2 用户使用场景图 特点优势 数据安全融合了不同的大数据服务进行统一入口管理,包括MRS、DWS、DLI,统一的权限配置入口能力,提高了易用性和可维护性。
单击“表评分”列的评分值链接,展开该表关联的规则评分,如图2所示。 图2 查看规则评分 规则名称为运行实例名称,如果作业被运行多次,取最新时间运行实例的结果。如果同一运行实例中,有多个子实例检验该表,则每个子实例一条记录。 单击“规则评分”列的评分值链接,展开该规则关联的字段评分,如图3所示。 图3 表关联规则评分界面
否存在,快速识别水印标记信息(数据源地址、分发单位、负责人、分发时间等),从而对安全事件精准定位追责。 数据水印使用流程 您可以通过图1来了解。 图1 水印使用流程 约束与限制 当前数据水印任务仅支持MRS Hive数据源。 主键不支持嵌入水印。 数值整型字段嵌入水印可能会出现数
创建数据库 CreateFunctionEvent 创建函数 CreateTableEvent 创建表 DropConstraintEvent 删除约束 DropDatabaseEvent删除数据库 DropFunctionEvent删除函数 DropPartitionEvent删除分区 DropTableEvent删除表
置下选择是否开启“时间限定生成使用动态表达式”功能,默认关闭。 图1 功能配置 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“时间限定”页签。 进入时间限定页面后,单击“新建”按钮。 在新建时间限定页面,参考表1配置参数,然后单击“发布”。 图2 时间限定 表1 新建时间限定参数说明
补数据监控”,进入补数据的任务监控页面。 用户可以在图1的页面中,查看补数据的任务状态、业务日期、并行周期数、补数据作业名称、创建人、创建时间以及停止运行中的任务。系统支持按补数据名称、创建人、日期和状态进行筛选。 图1 补数据监控主页 在图1的页面中,单击补数据名称,进入图2的页面。在此页面,用户可以
选择目录,然后单击“确定”。 图1 任务管理 在任务树中选中transport目录,然后单击“新建”按钮,开始新建采集任务。 按如下配置,新建采集任务transport_all。配置采集任务后,单击“下一步”。 图2 新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据
单击左侧导航的“任务管理”,进入任务管理页面。 在任务管理页面单击“新建”,新建一个元数据采集任务。 配置任务信息,如下图所示。 图1 配置任务信息 单击“下一步”,配置调度属性如下图所示。 图2 配置调度属性 单击“提交”,完成采集任务的创建。 单击任务管理列表中的“运行”或“启动调度”,跳转到任务监控页面并查看任务状态。
选择采集任务所归属的目录。如果未新建目录请参见图1创建进行。 图1 新建采集任务的归属目录 单击页面上方“新建”或者右键单击任务菜单,单击“新增任务”,在弹出的对话框中,配置相关参数,新建采集任务。 新建任务有如图2所示的两个入口。 图2 新建采集任务入口 配置基本参数,参考表1。
数。 该参数表示抽取指定值的partition,属性名称为分区名称,属性值可以配置多个值(空格分隔),也可以配置为字段取值范围,接受时间宏函数。详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时
数据治理中心-成长地图 | 华为云 数据治理中心 数据治理中心(DataArts Studio)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。
分析图数据 通过GES直接对图数据进行可视化分析。 前提条件 已完成开发并调度Import GES作业,且作业运行成功。 通过GES分析数据 进入图引擎服务GES控制台,在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图,对导入的图数据进行可视化分析。
DataArts Studio生成的血缘关系图如图1所示,为数据表对象,为作业节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,wk_02表数据经由hive_2作业节点加工又分别生成了wk_03、wk_04和wk_05的表数据。
为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从OBS迁移数据到DLI的任务,如图6所示。 图6 创建OBS到DLI的迁移任务
在码表管理页面,在码表目录树中选择一个目录,然后在右侧单击“新建”按钮。 图12 码表管理 在新建码表页面中,请参考表2配置参数,然后单击“保存”。 图13 新建码表 参考步骤3.a~3.b,在供应商目录下创建供应商码表,在费率目录下创建费率码表。 图14 供应商码表 图15 费率码表 分别为付款方式、供应商、费率3个码表填写数值。
元数据包括业务元数据、技术元数据和操作元数据,要求将企业所有概念数据模型、逻辑数据模型以及物理数据模型系统化地管理起来,同时建设企业数据地图及数据血缘关系,为数据调用、数据服务、数据运营及运维提供强有力的信息支撑。 数据服务 数据服务通过在整个企业范围统一数据服务设计和实现的规范
Jar包添加到资源管理列表中,具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执行的程序关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 需要先在数据安全服务队列权限功能中,配置对应的
数据目录 该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程