正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH方式:采用这种分布方式,需要为用户表指定一个分布列(distribute key)。当插入一条记录时,系统会根据分布列的值进行hash运算后,将数据存储在对应的DN中。对于Has
MRS ClickHouse连接参数说明 连接MRS ClickHouse时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。
new Signer(); $signer->Key = $ak; $signer->Secret = $sk; 生成一个新的Request,指定方法名、请求url和body。 1 2 $req = new Request('GET', "https://c967a237-cd6c-
的节点,选择“调度配置”,配置如表3所示的参数。 图3 调度配置 表3 调度配策略参数说明 参数 说明 DIS通道名称 选择DIS通道,当指定的DIS通道有新消息时,数据开发模块将新消息传递给作业,触发该作业运行。 事件处理并发数 选择作业并行处理的数量,最大并发数为10。 事件检测间隔
敏感数据识别过程中,如果规则为内容识别类型(即内置规则和内容识别类型的自定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。 敏感数据识别过程中,当某个字段同时匹配到识别规则组中的多个识别规
EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功,决定执行哪一个IF条件分支。基于图1的样例,说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实
EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功,决定执行哪一个IF条件分支。基于图1的样例,说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实
从错误节点开始重跑:作业实例执行失败时,从实例执行失败的错误节点开始重跑。 从第一个节点开始重跑:从作业实例的第一个节点开始重跑。 从指定的节点开始重跑:从作业实例中指定的节点开始重跑。仅当“重跑类型”选择“重跑当前实例”时有此选项。 说明: 以下两种情况,系统运行会从第一个节点开始重跑。
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
是 数据质量作业的类型: 质量作业 对账作业 质量作业名称 是 DQC作业类型为质量作业时需要配置。选择在数据质量模块中创建的质量作业名称。如何创建质量作业,请参见的新建数据质量作业。 是否忽略质量作业告警 是 DQC作业类型为质量作业时需要配置。 是:如果该质量作业处于告警状态时
型,您需要新建多个映射,每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 在映射区域的右上角,单击按钮,可以删除指定的映射,单击可以收起映射区域。 (可选)新建表的“表类型”为“DWS_VIEW”时,在“视图定义”页面,单击“新建”可以新建一个视图。 图7
级,自低向高依次为初始级、受管理级、稳健级、量化管理级和优化级,不同等级代表企业数据管理和应用的成熟度水平不同。 图2 DCMM标准等级 如何初步判断评估等级 DCMM评估包含的内容也较多,且向下兼容,所以申请高等级评估同时需要满足低等级的要求。简易评估要点主要包含企业规模、数据
产品功能 数据集成:多种方式异构数据源高效接入 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成基于分布式计算框架,利用并行化处理技术,支持用户稳定
char* sk = getenv("SDK_SK"); Signer signer(ak, sk); 生成一个新的RequestParams,指定方法名、域名、请求uri、查询字符串和body。 1 2 RequestParams* request = new RequestParams("POST"
app_secret = sig_str(sk); params.key = app_key; params.secret = app_secret; 指定方法名、域名、请求uri、查询字符串和body。 sig_str_t host = sig_str("c967a237-cd6c-470e-906f-a8655461897e
数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。 表1 集群最大抽取并发数配置建议
表达式概述 数据开发模块作业中的节点参数可以使用表达式语言(Expression Language,简称EL),根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。
成功与否。 自然天:[00:00:00-23:59:59] 自然小时: [00:00-59:59] 图2 自然周期调度作业依赖关系全景图 如何确认当前的周期调度依赖是传统周期调度依赖还是自然周期调度依赖? 自然周期调度在2023年6月开始全网使用。对于在此时间之后创建的租户,其所
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,
当“规则类型”选择“表级规则”,数据对象选择对应的数据表。 SQL 当“规则类型”选择“自定义规则”时,需要配置该参数。此处需输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 参数默认值 自定义SQL可设置入参用于执行,SQL入参需要与参数默认值顺序匹配(数据质量单点执行时)。 说明: