检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 数据仓库服务(DWS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。
表1 分库作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。
LTS数据连接参数说明 表1 LTS数据连接 参数 是否必选 说明 数据连接类型 是 LTS连接固定选择为LTS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 各数据源所用端口不尽相同,可参考数据源安全组应放通哪些端口可满足Migration访问?进行安全组规则端口配置。 (可选)本地IDC添加路由。
覆盖类型 否 如果“存储路径”中,您自定义的文件夹在OBS路径中已存在,选择覆盖类型。当脚本为DLI SQL时,配置该参数。 覆盖:删除OBS路径中已有的重名文件夹,重新创建自定义的文件夹。 存在即报错:系统返回错误信息,退出导出操作。
不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 新空间导入数据 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。
通知类型 是 选择通知类型: 单个作业: 运行异常/失败:作业的状态为“运行异常”或“失败”时,发送通知。 系统支持配置“最大通知次数”和“最小通知间隔(分钟)”,作业运行异常或者失败后,在作业未修复前,可以设置间隔时间发送告警通知。 说明: 最大通知次数可设置为1~50。
图4 添加路由1 图5 添加路由2 (可选)MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后,单击右侧“更多 > 修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。
图7 添加路由1 图8 添加路由2 (可选)MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后,单击右侧“更多 > 修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。
图11 添加路由1 图12 添加路由2 (可选)MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后,单击右侧“更多 > 修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。
对于运行状态为忽略失败的作业,支持发送的通知类型如下: 运行异常/失败:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行异常/失败”。 运行成功:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行成功”,系统默认策略为运行成功。
"value": "true" } ], "name": "toJobConfig" } ] } 参数说明 参数 是否必选 类型
OBS数据连接参数说明 表1 对象存储服务(OBS)连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。
进入购买DataArts Studio增量包页面,按照如下配置: 增量包类型:选择数据模型数量增量包。 计费方式:当前仅支持套餐包。 增量包规格:请根据您的业务情况选择合适的增量包规格。 购买时长:表示此套餐包的有效时长。
表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api) 修改作业 job editJob(api) 保存作业 job saveJob 删除作业 job deleteJob 重命名作业 job renameJob 导入作业 job
OpenSource ClickHouse数据连接参数说明 表1 OpenSource ClickHouse数据连接 参数 是否必选 说明 数据连接类型 是 OpenSource ClickHouse连接固定选择为MapReduce服务(OpenSource ClickHouse)
选择作业类型和模式。“作业类型”选择“实时处理”,“模式”选择“单任务-Flink JAR”。其他参数按照实际进行配置即可。 单击“确定”,进入作业画布界面。 配置Flink JAR作业相关参数。
数据安全API概览 表1 数据安全API类型 类型 说明 权限管理接口 权限管理接口。 识别规则接口 识别规则接口。 规则分组接口 规则分组接口。 数据权限查询接口 数据权限查询接口。 数据密级接口 数据密级接口。 权限应用接口 权限应用接口。
约束与限制 当前开发态细粒度认证仅支持DWS、代理模式的MRS Hive和MRS SPARK类型数据连接,调度态细粒度认证仅支持代理模式的MRS Hive类型数据连接。