检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是 “手动”选择为“连接串模式”时需要配置本参数。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。 表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集
Redis连接固定选择为Redis。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
配置告警规则 操作场景 通过设置实时集成作业的告警规则,用户可自定义监控目标与通知策略,及时了解作业状况,从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警
来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F HDFS文件编码只能为“UTF-8”,故HDFS不支持设置文件编码类型。 父主题: 配置CDM作业目的端参数
与其他云服务的关系 统一身份认证服务 DataArts Studio使用统一身份认证服务(Identity and Access Management,简称IAM)实现认证和鉴权功能。 云审计服务 DataArts Studio使用云审计服务(Cloud Trace Servic
传统周期调度 解释说明 周期调度作业支持设置调度周期符合条件的作业为依赖作业。设置依赖作业的操作详情请参考配置作业调度任务(批处理作业)章节。 例如周期调度作业A,可设置其依赖作业为作业B,如图1所示进行配置。则仅当其依赖的作业B在某段时间内所有实例运行完成、且不存在失败实例时,才开始执行作业A。
是 “手动”选择为“连接串模式”时需要配置本参数。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。 表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集
MongoDB连接固定选择为MongoDB。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实
运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业
规则。 指标别名 可选参数。 例如:地区坪效。 *所属流程 选择该指标所属的流程。如果您还未创建流程,请参见流程设计进行创建。 *设置目的 描述设置该指标的目的。 例如:用于衡量地区的商场经营效益,支撑商业决策。 *业务定义 描述该指标的业务定义。 例如:在某一地区,每坪的经营面积可以产出多少营业额。
界面,会话将会失效,需要重新登录。 会话超时策略可以在IAM服务进行设置,如图所示。 会话超时策略默认开启,不能关闭,管理员可以设置会话超时的时长,会话超时时长默认为1个小时,可以在15分钟~24小时之间进行设置,该策略对账号以及账号下的IAM用户都生效。 父主题: 咨询与计费
请求消息体 是 填写Json格式的请求消息体。当“HTTP方法”为“POST”、“PUT”时,显示该配置项。 是否需要判断返回值 否 设置是否判断返回消息的值和预期的一致。当“HTTP方法”为“GET”时,显示该配置项。 YES:检查返回消息中的值是否和预期的一致。 NO:不
下划线,且以英文字母开头。 数据长度 设置数据长度: 可以为空。数据长度为空时,对数据长度不做限制。 选择可以设置为具体的数值。输入1~10000之间的数值。 选择可以设置为一个范围。输入数据范围的临界值,输入值范围1~10000。 如果设置了数据长度标准,当数据类型为STRIN
FTP/SFTP连接 介绍 通过FTP或SFTP连接,可以对FTP或SFTP服务器抽取或加载文件,支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
据架构”模块,进入数据架构页面,查看“信息架构”。 在信息架构页面,可以执行以下操作: 搜索 在“信息架构”列表右上方,单击“高级搜索”,设置表名、类型、数据源等筛选条件,然后单击“搜索”可以查找指定的表,单击“表名称”,可以进入表的详情页面,查看表的详细信息。 新建 单击“新建
FTP。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中,便于用户查看。并支持设置脏数据比例阈值,来决定任务是否成功。 CDM迁移原理 用户使用CDM服务时,CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest
其中,要注意的是: 需要使用的是表的总数据大小,而不是压缩以后的文件大小。 桶的设置以偶数最佳,非分区表最小桶数请设置4个,分区表最小桶数请设置1个。 同时,可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中,添加优化参数。 图1 添加自定义属性
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务(Cloud Search Service)为用户提供结构化、非结构化文本的多条件检索、统计、报表,本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP