检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业资源包 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。
通知管理 DataArts Studio使用消息通知服务(Simple Message Notification,简称SMN)依据用户的订阅需求主动推送通知消息,用户在作业运行异常或成功时能立即接收到通知。 管理通知 通知周期概览 终端订阅管理 父主题: 运维调度
数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 模式 是 Hetu支持的数据源。用户可以在MRS Manager的Hetu组件中自行添加数据源。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 资源队列 否 输入资源队列名称。 脚本参数 否 关联的SQL脚本如果使
Success,返回单个工作空间信息。 400 BadRequest。 500 Internal Server Error。 父主题: 工作空间管理
python的集群,请先测试运行,保证集群支持。 如需新建集群,请参考以下方法: 单击,进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 如何新建集群,请参见《MapReduce服务(MRS) 使用指南》中的创建集群章节。 MRS资源队列 否 选择已创建好的MRS资源队列。
属数据源支持DLI、DWS、Hive、CSS、OBS和CUSTOM。CUSTOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如,当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时,由于MRS
Kerberos认证用户名。kerberos集群时,需要上传相应的keytab文件。 属性配置 否 “数据集成”参数开启时,呈现此参数。可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTime
属数据源支持DLI、DWS、Hive、CSS、OBS和CUSTOM。CUSTOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如,当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时,由于MRS
Success,数据连接创建成功。 400 BadRequest。 500 Internal Server Error。 父主题: 数据连接管理
Success,返回工作空间信息列表。 400 BadRequest。 500 Internal Server Error。 父主题: 工作空间管理
Success,数据连接删除成功。 400 BadRequest。 500 Internal Server Error。 父主题: 数据连接管理
已新建连接,详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 选择“表/文件迁移 > 新建作业”,进入作业配置界面。 图1 新建表/文件迁移的作业 选择源连接、目的连接: 作业名称:
约束限制 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化(
时区。 表10 TermAssignmentHeader 参数 参数类型 描述 confidence Integer 信任id。 steward String 管理员。 source String 来源。 status String 状态 枚举值:DISCOVERED、PROPOS
Success,返回单个数据连接信息。 400 BadRequest。 500 Internal Server Error。 父主题: 数据连接管理
象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。 单击监控指标页面左上角的返回按钮,进入云监控服务的界面,选择“云数据迁移服务”服务监控项对应操作列的“创建告警规则”。
协同开发,支持管理多种大数据云服务,极大地降低了用户使用大数据的门槛,帮助用户快速构建大数据处理中心。 图3 数据开发模块架构 数据开发支持数据管理、脚本开发、作业开发、资源管理、作业调度、运维监控等操作,帮助用户轻松完成整个数据的处理分析流程。 数据管理 支持管理DWS、DLI、MRS
的企业项目。 创建DWS集群后,您需要在管理中心创建DWS连接,然后通过数据开发组件新建数据库、数据库模式,再执行SQL来创建DWS表。操作步骤如下: 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studi
在配置下载权限策略前,应确保授权对象已具备在数据开发组件中SQL脚本执行结果的转储以及在下载中心下载操作权限(即已被授予DataArts Studio权限并被添加为对应工作空间角色,详见授权用户使用DataArts Studio),且已在数据开发中通过配置“数据导出策略”默认项允许授权对象进行数据导
getLastHour("yyyy-MM-dd HH:mm:ss:SSS")} Date addDays(Date date, int amount) 给date添加指定天数后,返回新Date对象,amount可以是负数。 将作业调度计划减一天的时间,转换为年月日格式。 #{DateUtil.format(DateUtil