检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品介绍 立即使用 成长地图 由浅入深,带您玩转DataArts Studio 01 了解 了解DataArts Studio的产品架构、功能和基础知识,有助于您更准确地匹配实际业务,让数据全生命周期一站式开发运营变得更简单、更方便。 产品介绍 什么是DataArts Studio 产品功能
选择“审核人管理”页签,然后单击“新建”按钮。 图1 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 父主题: 开发数据服务API
API管理”页面,进入API管理页面。 勾选待同步的API所在行,在API列表上方,选择并单击“更多 > 同步至数据地图”。 图2 同步至数据地图 在同步结果页面,查看同步状态和详情,确认API同步结果。 图3 同步结果 仅已发布状态的API支持同步至数据地图。 仅以下数据源的API支持同步:DLI、DWS、HBase、Clickhouse。
参考购买数据集成资源组增量包。 参考实时集成资源组关联工作空间。 数据库准备 连接源和目标数据库以及对应连接账号权限准备。 说明: 建议创建单独用于Migration任务连接的数据库账号,避免因为账号修改导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请尽快修改Migration任务中的连
b05ccc4 CertUtil: -hashfile 命令成功完成。 对比所下载JAR包的SHA256值和下面JAR包的SHA256值。如果一致,则表示下载过程不存在篡改和丢包。 SHA256值:0859965cb007c51f0d9ddaf7c964604eb27c39e2f
代Subjob节点。 作业的调度方式设置为“事件驱动调度”,连接名称和Topic选择为工作空间B中的Kafka连接和Topic,需要与工作空间A中job1作业中Kafka Client节点所选择的Kafka连接和Topic相对应,用于通过Kafka消息触发作业运行。 IF判断条件设置,用于校验Kafka
配置DLI云服务跨源场景委托权限。 实时数据集成与数据湖探索(DLI)云服务底层使用统一纳管集群资源,首次使用时需要通过DLI云服务创建跨源场景委托,用于底层计算资源访问和使用本租户VPC、子网、路由、对等连接等权限,详细请参见配置DLI云服务委托权限。 搜索并进入DLI云服务控制台。 在DLI控制台左侧导航栏中单击“全局配置
数据集范围为增量模式时,支持单次调度和周期调度。 当选择为周期调度时,参数配置参考表3。 表3 配置周期调度参数 参数名 说明 *调度日期 调度任务的生效时间段。 *调度周期 选择调度任务的执行周期,并配置相关参数。 分:选择调度开始时间和结束时间,配置间隔的分钟时长。 小时:选择调度开始时间和结束时间,配置间隔的小时时长。
e029 CertUtil: -hashfile 命令成功完成。 对比所下载SDK包的SHA256值和下表中对应语言SDK包的SHA256值。如果一致,则表示下载过程不存在篡改和丢包。 表1 SDK包及对应的SHA256值 不同语言SDK包 SHA256值 Java 77e033
FROM_DIRECTORY/example.csv 文件格式 传输数据时使用的格式。 支持CSV格式,JSON格式及二进制格式。 其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。 CSV格式 JSON类型 文件格式为JSON格式时支持此参数。 JSON文件
单位:秒。 10 过滤类型 满足过滤条件的路径或文件会被传输,该参数有“无”、“通配符”和“正则表达式”三种选择。具体使用方法可参见文件增量迁移。 无 目录过滤器 “过滤类型”选择“通配符”和“正则表达式”时,符合过滤器规则的目录,允许进行迁移。支持配置多个路径,中间使用“,”分隔。
LI SQL、DWS SQL、RDS SQL、MRS Hive SQL、MRS Spark SQL、DLI Spark、Flink SQL和Flink JAR类型的单任务作业,相比于先新建脚本再在作业中以节点引用脚本的开发方式,单任务作业可以直接在SQL编辑器中调测脚本并进行调度配置。
Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供了以下两种授权机制。注意,DataArts Studio仅支
作业范围:根据实际需要选择,推荐选择“所有作业”,在当前已有的作业和后续新创建的作业运行异常/失败时都会发送通知。 通知类型:选择“运行异常/失败”,当作业的状态为“运行异常”或“失败”时,发送通知。 另外可以设置作业运行异常或者失败后、在作业未修复前,告警通知的“最大通知次数”和“最小通知间隔(分钟)”。 最大
Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供了以下两种授权机制。注意,DataArts Studio仅支
ency委托项,单击“授权”。 图1 dlg_agency授权 在授权框中,分别搜索并勾选“Security Administrator”和“DLI FullAccess”,单击“下一步”。 图2 勾选Security Administrator 单击“确定”,给委托完成授权。授
DLI提供的设置作业优先级功能,当资源不充足时,可以优先满足优先级较高的作业的计算资源。DLI优先级功能包含DLI Flink Job、DLI SQL和DLI Spark三个作业算子。 只有运行在弹性资源池上的作业支持设置作业优先级。 弹性资源池上的SQL作业支持作业优先级。 Spark 2
的本地绝对路径,您也可以联系管理员获取此文件。 linkConfig.serviceType 否 String 服务类型。目前支持HDFS和HBase。 linkConfig.runMode 否 枚举 “HBase_2_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
Studio新版控制台首页已经上线,您可以通过单击页面上方banner中的“立即体验”进入。 新版控制台首页,从功能组件入口升级为集任务处理、资源监控和场景学习于一体的一站式数据工作台,全面为您提升生产效率。 图2 旧版控制台首页 图3 新版控制台首页 父主题: 购买并配置DataArts Studio
作业/脚本变更管理 作业/脚本的导入和导出 工作空间是否开启作业/脚本变更管理。 是:表示作业/脚本变化时记录变更事件,支持根据时间点增量导出和导入所有变化的作业/脚本。 否:表示作业/脚本变化时不记录变更事件,只支持选定作业/脚本的导出和导入。 Flink调试OBS桶 Flink