检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分库分表场景下源表与目标表映射 配置任务属性。 表9 任务配置参数说明 参数 说明 默认值 执行内存 作业执行分配内存,跟随处理器核数变化而自动变化。 8GB 处理器核数 范围:2-32。 每增加1处理核数,则自动增加4G执行内存和1并发数。 2 并发数 作业执行支持并发数。该参数无需配置,跟随处理器核数变化而自动变化。
DRS任务切换到实时Migration作业配置 DRS(数据复制服务)任务迁移到Migration,完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务,DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。 准备动作 Migration所需资源估算。
ModelArts Train 功能 通过编排ModelArts Train算子,实现在DataArts Studio中调度ModelArts工作流。 前提条件 已在ModelArts平台中完成工作空间的创建,具体请参考创建工作空间。 已在ModelArts平台中完成工作流的创建,具体请参考创建工作流。
具体请参见补数据监控。 通知管理 配置在作业运行异常或成功时能接收到通知。 具体请参见通知管理。 备份管理 支持每日定时备份昨日系统中的所有作业、脚本、资源和环境变量。 具体请参见备份管理。 父主题: 企业模式角色操作
默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
合键。 配置任务属性。 表9 任务配置参数说明 参数 说明 默认值 执行内存 作业执行分配内存,跟随处理器核数变化而自动变化。 8GB 处理器核数 范围:2-32。 每增加1处理核数,则自动增加4G执行内存和1并发数。 2 并发数 作业执行支持并发数。该参数无需配置,跟随处理器核数变化而自动变化。
相对于直接查看SQL脚本的执行结果,通过下载和转储能够支持获取更多的执行结果。各类SQL脚本查看、下载、转储支持的规格如表4所示。 表4 SQL脚本支持查看/下载/转储规格 SQL类型 在线查看最大结果条数 下载最大结果 转储最大结果 DLI 10000 1000条且少于3MB 无限制
Python脚本运行的输出结果不能大于30M,大于30M会报错。 查看脚本执行结果时,双击任意一行的一个字段,可以查看该行的结果详情,支持复制字段名称。 脚本执行历史结果可以进行权限管控,可设置为“仅自己可见”或“所有用户可见”,默认配置项请参见脚本执行历史展示。 在编辑器上方,单击“保存”,保存脚本。
“>”等各类特殊字符,长度为1~128个字符。 操作类型 是 通过节点可以执行的操作: 移动文件:将源文件或目录,移动到新目录中。 复制文件:复制源文件或目录。 重命名文件:重命名文件仅支持最后一级目录或文件重命名。 如重命名目录时,源文件或目录:obs://test/a/b/c
启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 可能原因 数据开发用户不具备DWS Database Access权限。 解决方案 为数据开发用户添加DWS Database Access权限后,再次尝试选择数据库。
合键。 配置任务属性。 表9 任务配置参数说明 参数 说明 默认值 执行内存 作业执行分配内存,跟随处理器核数变化而自动变化。 8GB 处理器核数 范围:2-32。 每增加1处理核数,则自动增加4G执行内存和1并发数。 2 并发数 作业执行支持并发数。该参数无需配置,跟随处理器核数变化而自动变化。
DDL配置 配置任务属性。 表10 任务配置参数说明 参数 说明 默认值 执行内存 作业执行分配内存,跟随处理器核数变化而自动变化。 8GB 处理器核数 范围:2-32。 每增加1处理核数,则自动增加4G执行内存和1并发数。 2 并发数 作业执行支持并发数。该参数无需配置,跟随处理器核数变化而自动变化。
FlavorDTO object 集群节点规格。 gateway_version String 集群版本号。 availability_zone String 集群所在可用区编码。 availability_zone_name String 集群所在可用区名称。 vpc_id String 集群所在虚拟私有云ID。
ySQL第一个分表mail001到MRS Hive目标表mail的数据集成作业,具体如下图所示。 图2 新建作业 图3 配置基本信息 样例作业创建完毕后,如下图查看作业JSON,并复制作业JSON,用于后续数据开发作业配置。 图4 查看作业JSON 图5 复制作业参数 创建数据开发作业
源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
1及以上版本。 运行程序参数 配置作业运行参数。当选择了MRS集群名后,该参数才显示。 该参数为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 注意: 系统支持实时Flink SQL作业运行前能够查询历史checkpoi
用EL表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
数名称后的输入框配置参数值。 运行程序参数 否 仅“脚本类型”配置为“在线脚本”时可以配置。 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。
OMS主要功能有以下两个: 线上数据迁移服务:帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移上云。 跨区域的复制:指的是华为云各个Region之间的数据复制和备份。 目前支持以下他云对象存储数据的入云迁移:亚马逊云、阿里云、微软云、百度云、华为云、金山云、青云、七牛云、腾讯云。