正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源元数据获取 获取数据库列表 获取schemas 获取数据源中的表 获取数据源中表的字段 父主题: 管理中心API
质量报告接口 获取质量报告评分体系 获取质量报告概览 获取质量报告趋势 获取质量报告规则评分 获取质量报告子规则字段评分 获取质量报告技术报告数据 获取质量报告业务报告数据 父主题: 数据质量API
CDM可以跨账户使用吗? CDM集群是否支持升级操作? CDM迁移性能如何? CDM不同集群规格对应并发的作业数是多少? 是否支持增量迁移? 是否支持字段转换? Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 数据源为Hive时支持哪些数据格式? 是否支持同步作业到其他集群?
#{StringUtil.split(b,',')[1]} 举例3 当前一节点的输出结果是一个字段时,输出结果如[["000"]]所示。第二个节点引用第一个节点的输出,此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值。 #{StringUtil.split(StringUtil.split(StringUtil
使用Token认证时该字段必选。 注:以下仅为Token示例片段 MIIPAgYJKoZIhvcNAQcCo...ggg1BBIINPXsidG9rZ Authorization 签名认证信息。 当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。 使用AK/SK认证时必选。
驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段。 12000 60 获取数据源中的表 获取数据源中的表。 12000 60 获取数据源中表的字段 获取数据源中表的字段。 12000 60 实例规格变更 表4 实例规格变更 API 说明 API流量限制(次/min)
这种情况是由于表数据量较大,并且源端通过where语句过滤,但并非索引列,或列值不离散,查询会全表扫描,导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构,将需要过滤的列配置为索引列,然后重试。 如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到
com/v3.0/OS-USER/users 请求消息头 附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3 公共请求消息头 名称 描述 是否必选 示例 Content-Type
量数据迁移。 事务模式迁移 支持当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时,CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使
查询关系 查看关系详情 查询模型下所有关系 查看表模型详情 获取模型 新建模型工作区 更新模型工作区 删除模型工作区 查询模型详情 查询目的表和字段(待下线) 导出模型中表的DDL语句 父主题: 数据架构API
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业 父主题: 数据集成
是否必选 参数类型 描述 detail 否 String 仅填写处理意见或者关闭问题时使用该字段,填写为相关意见或关闭说明。 operator 否 String 仅问题移交他人时使用该字段,选择移交负责人。 open 否 Boolean 选择问题处理方式。false表示关闭问题。
STRING”时此参数有效,默认值为:“\tab”。 fromJobConfig.columnList 否 String 需要抽取的字段列表,字段名之间使用“&”分割,例如:“id&gid&name”。 fromJobConfig.formats 否 数据结构 时间格式,请参见fromJobConfig
getNodeOutput("test")} 当前一节点执行无结果时,输出结果为“null”。 当前一节点的输出结果是一个字段时,输出结果形如[["000"]]所示。此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值,但注意输出结果类型为String。需要输出原数据类型时,仍需通过For Each节点及
手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。 \n 字段分隔符 文件格式为CSV格式时显示该参数。 文件中的字段分隔符。配置特殊字符需先url编码。 , 作业成功标识文件 标识文件名。 当作业成功时,在写入目录下生成标识文件。不输入文件名时不启用该功能。
消费者最大抽取时间,单位min。 kafka抽取consumer端最大运行时间,当到达运行时间,抽取强制结束,如不填入,默认为30min。 1440 字段分隔符 迁移时的字段分割符,默认为空格。 , 记录分隔符 暂不支持@ || $特殊字符作为分隔符。 , 父主题: 配置作业源端参数
primaryKey 否 String 主键或唯一索引。 toJobConfig.columnList 否 String 需要写入的字段列表,字段名之间使用“&”分隔,例如:“id&gid&name”。 toJobConfig.pipeLine 否 String 需要先在kiba
使用此连接。 在数据开发组件不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。特别的,仅当连接MRS 3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时,只能以日志形式显示执行结果。
重启CDM集群 操作场景 在进行某些配置修改(如关闭用户隔离等)后,需要重启集群才能生效。此时您需要进行集群重启操作。 重启CDM集群进程或集群VM都会导致正在运行的作业失败,重启期间也无法调度新的作业,请谨慎操作! 前提条件 已创建CDM集群。 重启集群 登录CDM管理控制台。
"role_id" : "r00003" } ], "type" : 0 } 响应示例 状态码: 200 Success,修改工作空间用户成功。 { "message" : null, "is_success" : true } 状态码: 400 { "error_code"