检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio的系统角色,如“DAYU Administrator”或“DAYU User”。 创建用户组并授权的具体操作,请参见创建用户组并授权。 配置用户组的DataArts Studio权限时,直接在搜索框中输入权限名“DAYU”进行搜索,然后勾选需要授予用户组的权限,如“DAYU
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
索数据连接名称,找到待查看的敏感数据。最终单击“明细”查看敏感数据明细内容。 图3 数据发现 图4 查看明细内容 然后切换到“手工修正”页签,查找待修正的规则名称,单击“确认”、“忽略”或“数据同步”,手工修正数据状态。 确认:确认该条识别结果为有效状态,“未确认”或“无效”状态
集群数量:1个 规格名称:cdm.medium vCPUs/内存:4核 8GB 集群数量:1个 规格名称:cdm.medium vCPUs/内存:4核 8GB 集群数量:1个 规格名称:cdm.large vCPUs/内存:8核 16GB 集群数量:1个 规格名称:cdm.xlarge
所有数据开发工作。 提交脚本或作业后,您无需发布,脚本或作业即可进入调度系统周期性执行,产出结果数据。 安全、规范。 具备安全、规范的代码发布管控流程(包含代码评审、代码DIFF查看等功能),保障生产环境稳定性,避免不必要的因代码逻辑引起的脏数据蔓延或任务报错等非预期情况。 数据访问得到有效管控,数据安全得以保障。
cd180d14e684b", "name": "region-name", "description": "", "links": { "next": null,
录,定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,
选择数据集成资源组增量包。 计费方式 选择按需计费。 名称 自定义数据集成资源组名称。 描述 可以自定义对当前数据集成资源组的描述。 规格 选择资源组的规格类型,即CU值、适用环境、创建作业的最大数量。 不同规格的资源组支持迁移的任务数或创建作业的最大数存在上限,您需要根据业务需要选择合适规格的资源组。单个作业(最少需要2
Studio的工作空间可以删除吗? DataArts Studio已经支持删除工作空间。 为避免误删除导致的业务受损,删除工作空间需要DAYU Administrator或Tenant Administrator账号才能操作,且删除工作空间的前提是各组件内已无业务资源,各组件校验的资源如下: 管理中心组件:数据连接。
过公网或者专线打通网络。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts
选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 创建一个批处理的Pipeline作业并进入作业配置页面。 选择Data_Quality_Monitor数据质量监控算子,将该节点拖入空白页面。并配置节点属性参数。
可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据,默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的
如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Resource参数说明 参数名 是否必选 参数类型 说明 name 是 String 资源名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 type 是 String 资源类型,包含: archive file jar location
分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您可以根据脚本责任人筛选脚本,在脚本目录上方的搜索框输入责任人,单击放大镜图标,如下图所示。 图2 根据脚本责任人筛选脚本 父主题: (可选)管理脚本
参数名 是否必选 参数类型 说明 id 是 String 资源ID,用户查询资源时使用。 name 是 String 资源名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 type 是 String 资源类型,包含: archive file jar location
在左侧导航窗格中,选择“用户组”,单击用户所属的用户组后面“操作”列的“授权”。 在授权界面,选择需要给用户组添加的权限,搜索需要的权限名称,请配置为OBS OperateAccess或OBS Administrator。 图3 给用户组授权 单击“下一步”,选择最小授权范围,系统默认“所有资源”。 单击“确定”。
task表示质量作业,consistency-task表示对账作业。 strategy 否 String 导入出现同名资源时处理策略:SKIP表示忽略、OVERRIDE表示覆盖、TERMINATION表示终止。 directories 否 Array of ValueMappingVO
分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您还可以根据作业责任人筛选作业,在作业目录上方的搜索框输入责任人,单击放大镜图标,如下图所示。 图2 根据作业责任人筛选作业 父主题: (可选)管理作业