检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
三权分立模式,连接中的用户需具备系统管理员权限。 非三权分立模式,参考数据库用户设置dbadmin管理员用户。 三权分立模式,参考设置三权分立设置系统管理员用户。 查看DWS集群guest agent版本 登录GaussDB(DWS) 管理控制台,进入“集群管理”,在集群列表中找到所需要的集群。
在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。单击“新建资源”,在数据开发模块中创建一个资源关联到1的JAR包,资源名称为“spark-example”。 图1 创建资源 提交Spark作业
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业,可以导出到本地保存。
通过标准进行数值比较,然后决定执行哪一个IF条件分支。 场景分析:由于HIVE SQL节点的Select语句执行结果为单字段的二维数组,因此为获取二维数组中的值,EL表达式#{Loop.dataArray[][]}或#{Loop.current[]}均可以实现,且当前只有For
可以学习到数据开发模块脚本编辑、作业编辑、作业调度等功能,以及DLI的SQL基本语法。 本入门示例涉及DataArts Studio服务的管理中心和数据开发模块,DataArts Studio的各版本均可以满足使用要求。 如果您从未使用过DataArts Studio,您可以选择试用DataArts
数据架构中的指标与数据质量的指标的区别,需要具体说明一下,便于用户理解。 解决方案 数据架构中指标侧重业务维度,用来衡量目标总体特征的统计数值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。同时,数据
的分级分类管理对数据进行统一管理。 前提条件 导入预置数据分类前,请参考定义数据密级至少创建1个密级。 约束与限制 当前数据分类的最大层级数默认为5层,最大配额1000个。 仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以创建
开发环境生成的指标数据处理类任务提交审核后,都会存储在审核中心页面,然后在审核中心页面进行任务审核发布,这些任务才会生效。在审核中心,可以对提交审核的对象进行统一管理。 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据指标”模块,进入数据指标页面。 图1
过程的安全可靠。 约束与限制 当前仅支持MRS数据源的安全诊断能力。 安全诊断的扫描任务超时时间为1小时。 数据权限控制诊断项,空间管理员与安全管理员仅统计用户,不统计用户组成员。 诊断数据安全风险 数据安全诊断当前支持敏感数据保护、数据权限控制和数据源保护三大诊断项,诊断详情如图1所示。
包括自定义模板和自定义规则: 自定义规则模板是很多用户可能都要使用的数据,不能随意进行修改,开发者只有查询权限,如果要修改规则模板,请联系管理员进行修改。 自定义模板:在“数据质量监控 > 规则模板”处,新建规则模板。新建的规则模板系统会自动被划分为对应的规则类型(表级、字段级、
问题描述 通过DataArts Studio调度大数据服务时,需要注意的地方需要说明一下。 解决方案 DLI和MRS作为大数据服务,不具备锁管理的能力。因此如果同时对表进行读和写操作时,会导致数据冲突、操作失败。 如果您需要对大数据服务数据表进行读表和写表操作,建议参考以下方式之一进行串行操作处理:
数据质量配置数据搬迁 数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出,如有涉及,请您进行手动配置同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。
网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RDS上MySQL数据库的IP地址、数据库名称、用户名和密码。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。 创建CDM集群并绑定EIP
Manager(登录用户名和密码找系统管理员获取)。 单击“集群”,在“概览”页签下,从右上方选择“更多 > 下载客户端”。 图2 下载客户端 弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”,下载客户端。 图3 下载集群客户端 选择客户端类型、平台类型(与执行任务的服务器保持
批量删除对账作业。 300 40 运维管理接口 表6 运维管理接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 获取任务执行结果列表 获取任务执行结果列表。 300 40 获取实例结果 获取实例结果。 300 40 数据质量运维管理操作处理&记录 该接口用于数
入权限”的处理方法 使用管理员用户登录IAM控制台。 在统一身份认证服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 单击“访问方式”后面的,修改访问方式。 勾选“编程访问”和“管理控制台访问”。 图4 配置访问方式 单击“确定”。 在管理控制台创建工作空间时,作
单击对账作业操作列中的“运行”,运行对账作业。 图12 运行对账作业 在数据质量模块左侧导航栏中,选择“数据质量监控 > 运维管理”,进入运维管理页面。 图13 进入运维管理页面 作业执行完成后,单击“结果&日志”,查看对账作业运行结果,如果源端和目的端表行数一致,则迁移成功。 图14 查看运行结果
单击“执行调度”,让该作业运行起来。 创建补数据。 您在创建了一个周期调度作业后,用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。在该作业的“操作”列,选择“更多 > 补数据”。进入“补数据”页面。
置中心”,进入相应页面后,选择“审核人管理”页签。 在“审核人管理”页面,单击“添加”按钮。 在弹出的添加对话框中,选择审核人,输入正确的手机号码和电子邮箱,单击“确定”完成审核人添加。 审核人必须是当前工作空间下具有审核权限的成员,只有管理员和开发者才具有审核权限。 审核人不支持手工添加,需要先在“DataArts
数据开发 数据开发概述 数据管理 脚本开发 作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程