检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 创建表达式转换器时,表达式的功能是对该字段的数据进行处理,故不建议使用时间宏。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。
管理并查看监控指标 支持的监控指标 设置实时处理集成作业告警规则 查看实时处理集成作业监控指标 父主题: 实时处理集成作业开发
开发实时处理单任务MRS Flink SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的实时处理Flink SQL作业,请您参考开发SQL脚本、配置作业参数、保存作业和模板章节。 前提条件 已新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。
数据服务专享版的API如何通过公网访问? 对于默认发布在数据服务专享版集群的API,当数据服务专享版集群支持公网访问后,API即可通过公网调用。 而数据服务专享版集群如果要支持公网访问,仅在创建数据服务专享版集群时,勾选开启“公网入口”才能进行公网访问。因此,对于已创建的未开启公
源端为Oracle,目的端为Hudi 源端为PostgreSQL,目的端为DWS 源端为SQLServer,目的端为Hudi 父主题: 实时处理集成作业开发
String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。
配置ClickHouse源端参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。 单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或
128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
字段映射界面无法显示所有列怎么处理? 问题描述 在使用CDM从HBase/CloudTable导出数据时,在字段映射界面HBase/CloudTable表的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无
、描述、责任人、触发时间和状态。 单击基线名称后面“操作”列的“处理”,进入“处理基线实例”的界面,设置“预计处理时间(分钟)”,单击“确定”。 基线实例处理操作会被记录在案,处理期间会暂停基线告警。基线责任人在处理期间,不发送告警。 查看基线运行通知 参考访问DataArts
String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。
String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。
String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。
下载资源任务文件 功能介绍 该接口用于下载资源文件。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/resource/download 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
配置RestApi源端参数 表1 RestApi作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据请求地址 数据请求地址。 是 /api/getUsers 请求方法 请求方法,支持GET/POST。 是 GET 请求体 请求方法为POST时显示该参数。
获取申请详情 功能介绍 获取申请详情。此功能仅用作信息详情展示,不用做业务处理,因此不展示编号等后台参数。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/applys/{apply_id} 表1 路径参数 参数 是否必选 参数类型
请求头中参数值长度超过512个字符时,何如处理? 以Rest Client算子为例。 问题现象 在配置作业算子参数时,在添加请求头中时,需要输入参数及参数值,如果该参数的参数值长度超过512个字符时,则不能继续输入,如下图所示。 图1 配置请求头参数 解决方法 配置作业节点的请求头参数。
上传导入的文件接口 功能介绍 该接口用于数据质量导入文件使用。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/resource/upload 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String