检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理员操作 管理员作为项目负责人或开发责任人,需要为企业模式的环境配置、人员角色等进行统一管控,相关操作如下表所示。 表1 管理员操作 操作 说明 准备工作 包含数据湖准备以及数据准备与同步。 数据湖准备: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境
且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 策略条件 指定可访问Kafka主题的IP地址范围。 Topic Kafka集群的消息主题。 有效时间 用户通过设置开始时间和结束时间来控制策略的生效时间段,可配置多条。 允许访问 定义允许访问的用户和用户组。
字段类型:目的端Hudi表新增字段的类型。 字段值:目的端Hudi表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量 任意字符 内置变量 源端host ip地址:source.host 源端schema名称:source.schema 源端table名称:source.table 目的端schema名称:target
SQL作业调试时修改。 查看脚本执行结果时,双击任意一行的一个字段,可以查看该行的结果详情,支持复制字段名称。 脚本执行历史结果可以进行权限管控,可设置为“仅自己可见”或“所有用户可见”,默认配置项请参见脚本执行历史展示。 为了方便脚本开发,数据开发模块提供了如下能力: 脚本编辑器支持使用如下快捷键,以提升脚本开发效率。
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 服务 是 选择需要开机/关机的服务: ECS CDM 开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数
String OBS路径 表23 RESTAPI节点属性说明 参数名 是否必选 参数类型 说明 url 是 String URL地址 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String
见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
String OBS路径 表24 RESTAPI节点属性说明 参数名 是否必选 参数类型 说明 url 是 String URL地址。 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String
String OBS路径 表24 RestClient节点属性说明 参数名 是否必选 参数类型 说明 url 是 String URL地址 云服务提供的URL地址。 method 是 String HTTP方法: GET POST PUT DELETE headers 否 String
SOFTLY:一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断,并重启集群的虚拟机。 restartLevel 否 String 重启级别: SERVICE:重启服务。 VM:重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型,只支持“cdm”。
approver_name 是 String 审批人姓名。 user_id 是 String 审批人ID。 email 否 String 邮箱地址。 phone_number 否 String 电话号码。 email_notify 否 Boolean 邮件通知。 sms_notify
information”,如何处理? 使用python调用执行脚本的api报错:The request parameter invalid,如何处理? 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? DataArts Studio调度CDM任务时报错Given transaction
“驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5.1.48版本及以上版本,如果低于5.1.48版本则连接会报错“The
支持多种数据源链路组合,您可以将多种输入及输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决方案来确保数据集成资源组与您将同步的数
和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切
环境。 配置两套数据湖服务,进行开发与生产环境隔离。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。
认”。导出完成后,请到下载中心查看导出的内容。 如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M,超过30M系统会自动截断。 导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数
类型的长度。 字段值:目的端DWS表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量 任意字符 内置变量 源端host ip地址:source.host 源端schema名称:source.schema 源端table名称:source.table 目的端schema名称:target
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
类型的长度。 字段值:目的端DWS表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量 任意字符 内置变量 源端host ip地址:source.host 源端schema名称:source.schema 源端table名称:source.table 目的端schema名称:target