检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Redis数据库索引 Redis分库的索引标识。 Redis的分库,相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置,默认是16个,分库名称是一个整数(0~15),不是一个字符串。 0 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。
切分Rowkey 可选参数,选择是否拆分Rowkey,默认为“否”。 是 Rowkey分隔符 可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。 | 起始时间 可选参数,起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。
textfile格式表的数据中存在换行符的场景,指定对换行符的处理策略。 支持删除,替换为其它字符串及不处理三种方式。 删除 换行符替换字符串 换行符处理方式设置为“替换为其他字符串”时,呈现此参数。 当换行符处理方式选择为替换时,指定替换的字符串。 - 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE
Kafka。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
LTS连接固定选择为LTS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 脱敏 隐藏字符串中的关
择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 安全组 企业项目 DataArts Studio专享版集群关联的企业项目。企业项目管理是一种
择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 安全组 IPv6双栈支持 开启IPv6双栈后,集群内网IP支持IPv4和IPv6,可通过IPv4或IPv6内网地址访问集群。
如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 脱敏 隐藏字符串中的关
t_type_开头,命名规则为“数据库名称_汇总表编码”)中复制的,复制节点后需手动配置该节点的“数据连接”和“数据库”参数,“数据库”需设置为事实表所在的数据库。 数据开发作业自动生成功能需在管理配置中心中勾选“创建数据开发作业”实现。 图14 按付款方式汇总统计节点属性 按费率汇总统计节点:为MRS
安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,
单击“导出文件”,配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”,勾选导出的模块。 图3 勾选导出的模块 单击“下一步”,等待导出完成,资源包导出到所设置的OBS存储位置。 图4 导出完成 导出资源耗时1分钟仍未显示结果则表示导出失败,请重试。如果仍然无法导出,请联系客服或技术支持人员协助解决。
脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中,便于用户查看。并支持设置脏数据比例阈值,来决定任务是否成功。 CDM迁移原理 用户使用CDM服务时,CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest
置的表已存在,则不创建,数据写入到已存在的表中。 说明: Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 , Rowkey冗余 可选参数
单击,完成公共IAM账号的设置。 配置执行用户 配置作业的执行用户 在作业目录处,双击选中已有作业。 单击画布右侧“作业基本信息”页签,展开配置页面,可设置作业的执行用户。 参考:创建委托 登录IAM服务控制台。 选择“委托”,单击“创建委托”。 设置“委托名称”。例如:DGC_agency。
如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移
只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”、“按小时”或“按分钟”,然后根据需要选择“快速选择”或“自定义”进行时间条件的设置。 自定义时,“-”表示从当前时间向前的时间段,“+”表示从当前时间向后的时间段。例如,过去一年到未来三年,可以按年自定义为“-1到+3”或“+3到-1”。
ClickHouse)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移
只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”、“按小时”或“按分钟”,然后根据需要选择“快速选择”或“自定义”进行时间条件的设置。 自定义时,“-”表示从当前时间向前的时间段,“+”表示从当前时间向后的时间段。例如,过去一年到未来三年,可以按年自定义为“-1到+3”或“+3到-1”。