检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新
DLI:DLI连接类型的表的数据类型。 DWS:DWS连接类型的表的数据类型。 MRS_HIVE:MRS_HIVE连接类型的表的数据类型。 MRS_SPARK:MRS_SPARK连接类型Hudi表的数据类型。 POSTGRESQL:POSTGRESQL连接类型的表的数据类型。
编排API 编排API简介 配置入口API算子 配置条件分支算子 配置并行处理算子 配置输出处理算子 API编排典型配置 父主题: 开发数据服务API
配置DDS目的端参数 作业中目的连接为DDS连接时,即导入数据到文档数据库服务(DDS)时,目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合,相当于关系数据库的
addQueryStringParam("param"," xxx"); 示例2: 直接拼接到url后面,以?开头,多个参数以&连接 原url:http://域名/p1 实际url:http://域名/p1?param=xxx¶m2=xxx2 header参数 请求头参数,作为请求头的一部分,参数名不区分大小写。
DataArts Studio实例中的数据集成CDM集群所属的VPC、子网、安全组。 如果DataArts Studio实例或CDM集群需连接云上服务(如DWS、MRS、RDS等),则您需要确保CDM集群与该云服务网络互通。同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通,如
同步IAM用户到数据源 默认情况下,用户通过DataArts Studio数据连接访问数据源(此处指MRS/DWS数据源)时,使用数据连接中的账号密码进行认证。为实现不同用户访问数据源时,能够根据其自身用户信息管控用户访问数据的权限,需要先将IAM上的用户信息同步到数据源上,然后
创建DLI连接 单击“保存”回到连接管理界面。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。
区域说明获取。 username为用户名,domainname为用户所属的账号名,********为用户登录密码,xxxxxxxxxxxxxxxxxx为项目ID。用户名、账号名以及项目ID可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。
Token、用户名密码两种认证鉴权方式的RESTful请求。 主机连接 通过主机连接,用户可以在DataArts Studio数据开发中连接到指定的主机,通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息,当主机的连接信息有变化时,
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
基线实例 系统使用基线实例计算任务每次运行的预计完成时间。本章节为您介绍如何查看基线实例详情和基线运行通知。 使用限制 仅开启状态的基线才会生成基线实例。详细信息请参见基线管理。 查看基线实例列表 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
上传CDM连接驱动 JDBC即Java DataBase Connectivity,java数据库连接;JDBC提供的API可以让JAVA通过API方式访问关系型数据库,执行SQL语句,获取数据。 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。 前提条件
主要包括以下几部分内容: 所选周期内的作业数、实例数、异常表数,以及各种实例运行状态的分布和变化趋势情况。 当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。
创建MySQL连接 创建RDS连接 创建整库迁移作业 前提条件 用户拥有EIP配额。 用户已购买RDS数据库实例,该实例的数据库引擎为MySQL。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经
集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 通过demo.html手动生成的认证信息,有效期为15分钟,超时则失效。 调用数据服务API时,如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的API调用时长信息,根据超时阶段进一步优化API配置。
0或以上版本,如果未安装,请至Eclipse官方网站下载。 约束与限制 APP认证方式的API调用前必须先完成通过应用授权APP认证方式API或申请API授权操作。 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务AP
批量授权API(专享版) 功能介绍 APP创建成功后,还不能访问API,如果想要访问某个API,需要将该API授权给APP。API主动授权成功后,在有效期内,APP即可访问该API。API授权包含授权和续约两部分功能。 授权:授权会给予APP在有效期内访问API的权利。 续约:续约会更新授权有效期,仅支持延长有效期,不能减少。
约束与限制 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。
介绍。 DataArts Studio权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 DataArts Studio部