检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。
例如: 对于表迁移,宽表的迁移速度较慢,字符串类型越多(字段大小)迁移速度越慢。 对于文件而言,总大小相同时,大文件迁移较快,多个小文件迁移较慢。 对于消息而言,消息内容越多,所占带宽越高,每秒事务(TPS)越低。 源端读取速度 取决于源端数据源的性能。
进入购买DataArts Studio增量包页面,按照如下配置: 增量包类型:选择技术资产数量增量包。 计费方式:当前仅支持套餐包。 增量包规格:请根据您的业务情况选择合适的增量包规格。 购买时长:表示此套餐包的有效时长。
不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 新空间导入数据 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。
通知类型 是 选择通知类型: 单个作业: 运行异常/失败:作业的状态为“运行异常”或“失败”时,发送通知。 系统支持配置“最大通知次数”和“最小通知间隔(分钟)”,作业运行异常或者失败后,在作业未修复前,可以设置间隔时间发送告警通知。 说明: 最大通知次数可设置为1~50。
图4 添加路由1 图5 添加路由2 (可选)MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后,单击右侧“更多 > 修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。
图7 添加路由1 图8 添加路由2 (可选)MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后,单击右侧“更多 > 修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。
图1 批作业监控 表1 批作业监控支持的操作项 支持的操作项 说明 根据“作业名称”、“责任人”、“CDM作业”、“调度身份”或“节点类型”筛选作业 - 根据“作业是否配置通知”、“调度状态”、“作业标签”或“下次计划时间”范围,筛选作业 对于未配置通知的作业,系统支持可以通知类型
对于运行状态为忽略失败的作业,支持发送的通知类型如下: 运行异常/失败:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行异常/失败”。 运行成功:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行成功”,系统默认策略为运行成功。
"value": "true" } ], "name": "toJobConfig" } ] } 参数说明 参数 是否必选 类型
表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api) 修改作业 job editJob(api) 保存作业 job saveJob 删除作业 job deleteJob 重命名作业 job renameJob 导入作业 job
OBS数据连接参数说明 表1 对象存储服务(OBS)连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。
进入购买DataArts Studio增量包页面,按照如下配置: 增量包类型:选择数据模型数量增量包。 计费方式:当前仅支持套餐包。 增量包规格:请根据您的业务情况选择合适的增量包规格。 购买时长:表示此套餐包的有效时长。
选择作业类型和模式。“作业类型”选择“实时处理”,“模式”选择“单任务-Flink JAR”。其他参数按照实际进行配置即可。 单击“确定”,进入作业画布界面。 配置Flink JAR作业相关参数。
数据安全API概览 表1 数据安全API类型 类型 说明 权限管理接口 权限管理接口。 识别规则接口 识别规则接口。 规则分组接口 规则分组接口。 数据权限查询接口 数据权限查询接口。 数据密级接口 数据密级接口。 权限应用接口 权限应用接口。
约束与限制 当前开发态细粒度认证仅支持DWS、代理模式的MRS Hive和MRS SPARK类型数据连接,调度态细粒度认证仅支持代理模式的MRS Hive类型数据连接。
表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式,如果没有使用WHERE条件做数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。
OpenSource ClickHouse数据连接参数说明 表1 OpenSource ClickHouse数据连接 参数 是否必选 说明 数据连接类型 是 OpenSource ClickHouse连接固定选择为MapReduce服务(OpenSource ClickHouse)
生成的元数据xml文件,属性(Property)中的数据复合类型(Cardinality),目前仅支持填写为“single”类型,不支持自定义。 生成元数据功能本身,支持一次生成多对点表和边表的元数据xml文件。