检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本、Python脚本等任务的同时运行上限为200。 数据集成配置 连接属性 否 例如:1. socketTimeout:配置JDBC连接超时时间,单位为毫秒;2. mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true
虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
作业委托 当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。 9042 用户名 连接Cassandra的用户名。
虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业
部署者操作 部署者作为管理开发任务上线的人员,需要审批待发布任务,相关操作如下文所示。 部署者审批开发者提交的发布任务,审批通过后才能将修改后的作业同步到生产环境。 在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。
作业委托 当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异
问题现象 在配置作业算子参数时,在添加请求头中时,需要输入参数及参数值,如果该参数的参数值长度超过512个字符时,则不能继续输入,如下图所示。 图1 配置请求头参数 解决方法 配置作业节点的请求头参数。 在“参数值”里面引入变量名称,例如{para}。 图2 配置请求头参数 配置作业参数。
“Hudi全局配置”作用于所有Hudi表,可配置的Hudi配置项参考Hudi官网介绍。 “Hudi全局配置”优先级低于单表“表属性编辑”中的配置,存在相同配置项时会被覆盖。 源表与目标表映射:Oracle为源端时,暂不支持迁移CLOB、NCLOB和BLOB类型。 图3 配置源表与目标表映射
添加数据源,选择需要迁移的MySQL表。 图1 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 目标端配置。 图2 配置目标端参数 源库表和目标匹配策略: 库匹配策略:配置目标数据库的匹配策略,使数据按照规划迁移至目标库。 用户需要提前创建对应数据库,否则可能导致后续自动建表失败。
虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业
数据源认证及其他功能配置 访问标识(AK) 是 使用DIS Client节点发送消息至目标DIS通道时,创建目标通道的租户AK。 密钥(SK) 是 使用DIS Client节点发送消息至目标DIS通道时,创建目标通道的租户SK。 描述 否 支持添加该连接的相关描述。 父主题: 配置DataArts
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
群,请先通过数据集成增量包进行创建。 数据集成配置 测试地址 是 测试连通性地址,返回200则视为连接认证成功。 例如:/test 测试请求方法 是 测试请求方法,GET/POST。 例如:GET 高级属性 否 高级属性配置,常用配置如下: maxTotal:连接池最大值,默认200。
除复制槽?。 整库场景 源端配置。 添加数据源,选择需要迁移的PostgreSQL表。 图1 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 目标端配置。 图2 配置目标端参数 源库表和目标匹配策略: Schema匹配策略:配置目标数据Schema的匹配策略,使数据按照规划迁移至目标库。
步到1个目标端为DMS Kafka实例的汇聚表。 整库场景 源端配置。 添加数据源,选择需要迁移的MySQL表。 图1 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 目标端配置。 图2 配置目标端参数 设置源表与Topic映射规则: 目标Topic名称规
企业模式角色操作 企业模式业务流程 管理员操作 开发者操作 部署者操作 运维者操作 父主题: (可选)升级企业模式工作空间
查询角色对一组库、表的可配置操作权限信息 功能介绍 查询角色对一组库、表的可配置操作权限信息。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-sets/datasource/role/batch-actions
sink.buffer-flush.max-size int 512 DWS单次写入的数据大小,默认为512MB,可在“目的端配置”高级配置中配置。 当缓存的数据达到数据大小限制时,触发数据写入。 与批写最大数据量类似,单次写入大小增大可以减少请求DWS的次数,但可能导致单次