检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目ID,获取方式参考接口路径参数“project_id”。 name_ch String 业务中文名。 name_en String 业务英文名。 biz_id String 业务ID,ID字符串。 biz_type String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE:
项目ID,获取方式参考接口路径参数“project_id”。 name_ch String 业务中文名。 name_en String 业务英文名。 biz_id String 业务ID,ID字符串。 biz_type String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE:
项目ID,获取方式参考接口路径参数“project_id”。 name_ch String 业务中文名。 name_en String 业务英文名。 biz_id String 业务ID,ID字符串。 biz_type String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE:
项目ID,获取方式参考接口路径参数“project_id”。 name_ch String 业务中文名。 name_en String 业务英文名。 biz_id String 业务ID,ID字符串。 biz_type String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE:
用户名:选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。 从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 密码:访问MRS Manager的用户密码。 认证类型:访问MRS的认证类型。 运行模式:选择HDFS连接的运行模式。 创建OBS连接
验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh.md5在同一目录下
Hive HDFS读取方式时,支持按Hive文件分片。 JDBC读取方式时,不支持分片。 对象存储 对象存储服务(OBS) 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。
项目ID,获取方式参考接口路径参数“project_id”。 name_ch 否 String 业务中文名。 name_en 否 String 业务英文名。 biz_id 否 String 业务ID,ID字符串。 biz_type 否 String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE:
限定接口 查找业务限定 查看限定详情 父主题: 数据架构API
项目ID,获取方式参考接口路径参数“project_id”。 name_ch String 业务中文名。 name_en String 业务英文名。 biz_id String 业务ID,ID字符串。 biz_type String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE:
指标设计 业务指标 技术指标 父主题: 数据架构
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
项目ID,获取方式参考接口路径参数“project_id”。 name_ch String 业务中文名。 name_en String 业务英文名。 biz_id String 业务ID,ID字符串。 biz_type String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE:
未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Stu
SQL的算子脚本参数支持参数预览。 表4 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期
统计资产接口 获取技术资产统计信息 获取业务资产统计信息 父主题: 数据目录API
多IF条件下当前节点的执行策略 IF条件的数据来源于EL表达式,通过EL表达式,根据具体的场景选择不同的EL表达式来达到目的。您可以参考本教程,根据您的实际业务需要,开发您自己的作业。 EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执
通常使用默认资源队列时,由于DLI的资源队列繁忙,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议您在业务低峰期再次重试,或选择自建队列运行业务。 作业运行成功时,在补数据、测试运行场景下不发送告警通知,避免邮件或短信轰炸。同时,补数据作业实例恢复时也不发送恢复通知。
使用教程 新建一个业务场景 新建一个质量作业 新建一个对账作业实例 父主题: 数据质量
请确保ECS主机与CDM集群网络互通,互通需满足如下条件: CDM集群与ECS主机同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。