检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。
通过GES分析数据 进入图引擎服务GES控制台,在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图,对导入的图数据进行可视化分析。 本例以图探索功能为例,查看用户William相关的用户与电影情况,如图2所示。
进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。 项目名称可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。
在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。单击“新建资源”,在数据开发模块中创建一个资源关联到1的JAR包,资源名称为“spark-example”。
图2 购买增量包 数据服务专享版API解冻 在DataArts Studio“空间管理”页签中,单击工作空间操作列“编辑”链接。 图3 编辑空间管理 在“空间信息”中,单击“设置”按钮对已分配配额进行配置。
操作者只能看到自己操作的下载记录,工作空间的管理员可以看到当前空间的所有下载记录。 通过下载中心,对SQL脚本执行的结果进行统一管理。对下载的结果可以进行查看和删除,对转储的结果可以进行查看、下载和删除。
企业每一笔资金的来源与利用、每一次经营管理决策都必须基于准确的数据分析判断。只有基于准确的数字,才能够帮助企业在激烈的竞争中取得竞争优势。 图1 华为数据治理工作思考 父主题: 华为数据治理案例
环境准备 需要准备好对账的数据源,即通过管理中心分别创建数据连接,用于跨源数据对账。 操作步骤 建立跨源数据连接。 创建DLI数据连接。
”,选择CDM集群后的“作业管理 > 连接管理 > 驱动管理”,进入驱动管理页面上传驱动。
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
配置管理信息。 图3 管理信息 表3 管理信息参数说明 参数说明 说明 数据来源 描述数据来源,也就是数据的产生者。 *指标管理部门 指标的管理部门。 *指标责任人 指标的责任人,可以手动输入名字或直接选择已有的责任人。 在弹出框中,选择审核人,单击“确认提交”,提交审核。
部署者操作 部署者作为管理开发任务上线的人员,需要审批待发布任务,相关操作如下文所示。 部署者审批开发者提交的发布任务,审批通过后才能将修改后的作业同步到生产环境。 在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。
图3 选择数据连接及资源组 无可选数据连接时,可单击“新建”跳转至管理中心数据连接界面,单击“创建数据连接”创建数据连接,详情请参见配置DataArts Studio数据连接参数进行配置。
图3 选择数据连接及资源组 无可选数据连接时,可单击“新建”跳转至管理中心数据连接界面,单击“创建数据连接”创建数据连接,详情请参见配置DataArts Studio数据连接参数进行配置。
图1 MRS Hudi最小化权限 具体MRS集群角色权限管理请参考《MRS集群用户权限模型》。 建议创建单独用于Migration任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。
图1 MRS Hudi最小化权限 具体MRS集群角色权限管理请参考《MRS集群用户权限模型》。 建议创建单独用于Migration任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
维度建模 新建维度 管理维度表 新建事实表 父主题: 模型设计
前往MRS管理控制台进行新建。 如何新建集群,请参见《MapReduce服务(MRS) 使用指南》中的创建集群章节。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 您需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。
图3 选择数据连接及资源组 无可选数据连接时,可单击“新建”跳转至管理中心数据连接界面,单击“创建数据连接”创建数据连接,详情请参见配置DataArts Studio数据连接参数进行配置。