检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager,选择“系统 > 权限 > 角色”查看),继承已有角色的MRS数据源权限。 本章主要描述如何配置通用角色,配置纳管角色以及相关操作。 前提条件 配置角色前,已完成空间权限集的配置,请参考配置空间权限集。 MRS和DWS角色同步时,系统通过管理中心组件数据连接中的用户进行账号相关的增
内使用本连接。 基础与网络连通配置 手动 是 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager
内使用本连接。 基础与网络连通配置 手动 是 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager
as/tbl_student_1.csv 否 Blog文件扩展名 “文件夹模式”为“是”时,才有该参数。文件夹模式下自定义Blob/Clog数据的文件扩展名。 .dat/.jpg/.png 父主题: 配置作业目的端参数
内使用本连接。 基础与网络连通配置 手动 是 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager
Keytab文件在仅安全模式集群下使用,普通模式集群下无需准备Keytab文件。 操作步骤 进入CDM主界面,进入集群管理界面。选择CDM集群后的“作业管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面,选择“新建集群配置”,配置参数填写如下: 图2 新建集群配置 集群配置名:根据连
基础与网络连通配置 手动 否 通过代理连接时,是必选项。 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager
组不同,还需配置路由规则及安全组规则。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前DataArts Studio实例创建完成后不支持切换默认CDM集群的VPC、子网、安全组,请谨慎选择。 此处支持选择共享VPC子网,即由VPC的所有者将VPC内的
在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果是安全模式(Kerberos认证为开启状态),需要增加MRS Hive配置的白名单,需要配置以下配置项参数,单击保
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性
_name}。 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图6 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT模式:批量更新入库模式 COPY模式:DWS专有的高性能批量入库模式,对性能有较高要求的强烈建议使用COPY模式。
确。 图1 资源权限配置页面 单击待创建权限策略HDFS组件下“hacluster”的“配置” ,进入配置界面单击“创建”,新建权限策略。 图2 新建权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图3 配置权限策略 表2 配置HDFS权限策略参数说明
Studio实例内所有工作空间的数据安全组件内,拥有最高权限。数据安全组件中,仅安全管理员和DAYU Administrator系统角色有权限进行如下操作: 配置空间权限集 配置行级权限访问控制 同步用户 配置空间资源权限 配置细粒度认证 配置队列权限 如需配置安全管理员,则需要以具有DAYU
实时集成作业配置界面,单击作业导航栏中的“恢复”按钮。 图4 恢复作业2 动态加减表对于不同的启动模式有不同的操作效果,具体如下: 对于初始启动模式为“增量同步”的作业,暂停加表后恢复作业,新增的表将从暂停前的位点或用户重置的位点开始进行增量同步。 对于初始启动模式为“全量+增量
内网中的FTP通过端口映射到公网时,需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的随机端口,所以除了配置21端口映射外,还需要配置PASV模式的端口范围映射,例如vsftp通过配置pasv_min_port和pasv_max_port指定端口范围。
使用集群名模式时,通过选择已有集群名称进行连接配置。 使用连接串模式时,手动填写对应集群的IP或域名、端口进行连接配置,且需打通本连接Agent(即CDM集群)和DWS集群之间的网络。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。
一个CDM集群,如果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据集成配置 数据库名称 是 要连接的数据库。 直连模式 否 是否直连,适用于主节点网络通,副本节点网络不通场景。 属性配置 否 自定义连接属性,当前支持socketTimeout,maxWaitTime,
击“下载权限”,进入下载权限页签。 图1 进入下载权限页签 单击下载权限页签的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“提交”,策略配置完成。 表1 配置下载权限策略参数说明 参数名 参数描述 *策略名称 标识下载权限策略,为便于策略管理,建议名称中包含授权对象。
使用集群名模式时,通过选择已有集群名称进行连接配置。 使用连接串模式时,手动填写对应集群的IP或域名、端口进行连接配置,且需打通本连接Agent(即CDM集群)和DWS集群之间的网络。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。
单击作业目录中的,选择“显示复选框”。 图1 显示作业复选框 勾选需要批量配置的作业,单击 > 作业配置。 图2 作业配置菜单 配置作业的通用项。 图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。