检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大陆地区的用户。如果您或者您的目标用户在中国大陆,使用这些区域会有较长的访问时延,不建议使用。 云服务之间的关系 如果多个云服务一起搭配使用,需要注意不同区域的云服务内网不互通。 例如DataArts Studio(包括管理中心、CDM等组件)需要与MRS、OBS等服务互通时,如果DataArts
适用组件勾选数据集成后,呈现此参数。 Hive的版本。根据服务端Hive版本设置。 说明: HIVE_3_X支持Hive服务端版本为3.x的连接,HIVE_2_X支持Hive服务端版本为2.x的连接。使用不匹配的连接版本,测试连接有可能正常,也可能会出现查询库表为空,或者作业失败等不正常场景。
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type
CDM采用独立集群的方式为用户提供安全可靠的数据迁移服务,各集群之间相互隔离,不可相互访问。 CDM集群可用于如下场景: 用于创建并运行数据迁移作业。 作为管理中心组件连接数据湖时的Agent代理。 前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务时,需确保CDM集群与待连接的云服务
DIS数据连接参数说明 表1 DIS连接 参数 是否必选 说明 数据连接类型 是 DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签
约束与限制 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type
自动匹配创建作业时配置的作业责任人,此处支持修改。 执行用户 当“作业调度身份是否可配置”设置为“是”,该参数可见。 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 说明: 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type
数据量,以提高性能。 properties.max.partition.fetch.bytes int 1048576 消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 properties.max.poll
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的密码永不过期MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
数据源认证及其他功能配置 用户名 是 MRS集群或CloudTable集群的用户名。 如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集
当“作业调度身份是否可配置”设置为“是”,该参数可见。 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 说明: 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 作业委托 当“作业调度身份是否可配置”设置为“是”,该参数可见。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的密码永不过期MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
ros鉴权。 用户名 是 MRS集群的人机用户,通过代理连接时是必选项。如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群
Spark节点的血缘关系时,由于MRS Spark节点不支持自动血缘解析,则需要手动配置MRS Spark节点的血缘关系。操作步骤如下: 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
DataConnectionVO objects 数据连接信息数组 表6 DataConnectionVO 参数 参数类型 描述 dw_name String 数据连接名称。 dw_id String 数据连接ID。 display_name String 数据连接名称,适配现有实现。 dw_type
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的密码永不过期MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Manager页面的“系统设置”中,单击“用户管理”,在用户管理页面,添加用户,添加一个专有的人机用户作为kerberos认证用户,并且为这个用户添加用户组和分配角色权限,用户组选择superGroup,角色建议全选,然后根据页面提示完成用户的创建。 MRS 2.x及之前版本集群,所创建的用户需要具备Man