检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量解锁 数据开发模块提供了批量解锁作业的功能,您可参照本节内容对锁定的作业进行批量解锁。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
数据治理度量维度 数据治理成熟度评估使用调查问卷方式,包括11个治理模块,60多个调查问卷事项,全方面多维度度量了数据治理工作的水平。 数据治理评分卡使用评分卡形式,由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分,作为一个工具手段持续推动
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts
离线处理集成作业概述 离线处理集成作业作为数据开发的一个作业类型,支持跨集群下发数据迁移作业,实现常用的批作业迁移能力。 相比于传统的依靠CDM集群进行生命周期管理CDM迁移作业,离线处理集成作业依靠数据开发组件的生命周期管理,由数据开发进行集成作业的统一调度和CDM集群资源的统
作业配置了周期调度,但是实例监控没有作业运行调度记录? 可能原因 作业配置了周期调度,但是实例监控没有作业运行调度记录。可能原因是作业未启动调度或者依赖作业未执行完成。 解决方案 在“运维调度 > 作业监控”界面确认作业的调度状态是否是调度中,只有调度中的作业到了调度周期后才会调度。
数据安全能力成熟度模型 数据安全能力成熟度模型(Data Security Capability Maturity Mode,简称DSMM)是依据《信息安全技术数据安全能力成熟度模型》国家标准和《数据安全能力建设实施指南V1.0》,对组织的数据安全开展能力评估。DSMM旨在标准先
数据管理能力概述 《大数据产业发展十四五规划》多次提到“数据管理”和“数据管理能力”,进入数字化经济时代,数据已成为产业发展的生产要素,企业的数据管理能力成为企业竞争的核心能力之一。 DCMM(Data management Capability Maturity Model)是《数据管理能力成熟度评估模型》GB/T
MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? 问题描述 MySQL到DWS链路 ,由于DWS的表是手动建立的,主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段,如果该字段在MySQL中出现null值那么,写入到DWS中将会报错,报错信息如下:
执行SQL语句失败,系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs
数据标准ID,ID字符串。 actived 是 Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required 否 Boolean 是否必填。true:必填,false:非必填。 searchable
数据标准ID,ID字符串。 actived 是 Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required 否 Boolean 是否必填。true:必填,false:非必填。 searchable
设置CDM告警规则 操作场景 通过设置CDM集群告警规则,用户可自定义监控目标与通知策略,及时了解CDM集群运行状况,从而起到预警作用。 设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。
复制作业 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
配置数据目录权限 本章节主要介绍数据目录权限管理。 约束与限制 仅管理员角色的用户支持创建、删除、修改数据目录权限规则和设置数据目录权限生效状态。 开发者、运维者和访客角色的用户仅支持查看数据目录权限规则和规则列表。 管理数据目录权限规则 在DataArts Studio控制台首
选。 表3 请求Body参数 参数 是否必选 参数类型 描述 ids 否 Array of strings 数据密级id列表,数据密级id可以通过查询接口获取。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。
为什么会提示每日执行节点个数超过上限,应该怎么处理? 每日执行节点个数即DataArts Studio不同实例版本中的作业节点调度次数/天配额,各版本配额差异可参见如何选择DataArts Studio版本。 可能原因 当每日作业节点调度的已使用次数+运行中次数+本日将运行次数之
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换,以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。 结果集映射
配置节点并发数 本章节主要介绍如何配置当前作业空间同一时间允许正在运行的作业节点的最大并发数。 约束限制 工作空间的节点并发数不能大于实例的节点并发数上限。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
管理作业标签 作业标签用于给相同或用途类似的作业打上标签,便于管理作业,并根据标签查询作业。参考本节操作,您可管理作业标签,执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts