检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挂起 IGNORE:忽略失败,读取下一事件。 默认值:SUSPEND concurrent 否 int 调度并发数。 取值范围:1~128 默认值:1 readPolicy 否 String 读取策略: LAST :从上次位置读取 NEW- 从最新位置读取 默认:LAST 表12 Cron表达式字段取值
作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题: 数据开发API(V1)
字段映射样例:源端配置使用SQL语句为是时不显示该参数,查看源端和目的端样例数据。 文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),没有字段映射这一步骤。 整库迁移没有配置字段映射关系这一步骤。
项。 类似关系数据库的数据库名称。 例如:0。 配置文件路径 是 认证类型为KERBEROS时显示该参数。 集群配置文件的OBS存放路径。 keytab文件路径 是 认证类型为KERBEROS时显示该参数。 配置keytab文件的OBS存放路径。 Principal名称 是 认证类型为KERBEROS时显示该参数。
不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。
8123 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 否 引用符号 可选
自定义角色:用户可以对需要的操作权限进行自定义设置,来满足实际业务的需要。 访客:具备DataArts Studio只读权限,只允许对DataArts Studio进行数据读取,无法操作、更改工作项及配置,建议将只查看空间内容、不进行操作的用户设置为访客。 表1 企业模式内的权限 - 简单空间 企业空间 管理者
3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。
挂起 IGNORE:忽略失败,读取下一事件 默认值 : SUSPEND concurrent 否 int 调度并发数 取值范围:1~128 默认值:1 readPolicy 否 String 读取策略: LAST :从上次位置读取 NEW- 从最新位置读取 默认值 : LAST 表12
关闭异步compaction clean.async.enabled false 清理历史版本数据文件 hoodie.archive.automatic false Hudi commit文件老化的开关 图1 关闭Migration compaction任务 如上配置项配置完成后,作业
3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用本地API 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝
支持OBS路径和DLI程序包两种类型的资源。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时,
群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154.48.120时,hosts文件中的自映射配置为: 10.154.48.120 10.154
到数据节点。如果需要通过Internet访问DWS,只能使用COPY模式。 COPY 单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到DWS的任务。 图4 创建MySQL到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。
具体的标准、规范、程序等。 数据安全管理制度文件可分为四个层面,一、二级文件作为上层的管理要求,应具备科学性、合理性、完备性及普适性。三、四级文件则是对上层管理要求的细化解读,用于指导具体业务场景的具体工作。 图2 数据安全管理制度文件 技术工具 数据安全技术体系并非单一产品或平
可以将离线或历史数据集成到云上。提供同构/异构数据源之间数据集成的服务,支持单表/文件迁移、整库迁移、增量集成,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成 创建集群 新建数据迁移的源连接、目的连接 新建表/文件迁移作业 步骤4:元数据采集 为了在DataArts
”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 OBS路径 是 删除OBS桶或目录的路径。 说明: 删除的文件将无法恢复,如需保留文件,请在删除前备份该桶下的数据。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点
常见配置举例如下: socketTimeout:配置JDBC连接超时时间,单位为毫秒。 mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true。 - 父主题: 配置连接参数
选择连接属性。 socketTimeout:配置JDBC连接超时时间,单位为毫秒 mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true。 数据源认证及其他功能配置 用户名 是 开启Kafka SASL_SSL时的必选项。
需要重新发布码表,才能使更新后的表生效。 在导入码表时,只有创建或更新操作,不会删除已有的码表。 *上传模板 选择所需导入的码表文件。所需导入的码表文件,可以通过以下两种方式获得。 下载码表模板并填写模板 在“导入配置”页签内,单击“下载码表导入模板”下载模板,然后根据业务需求填