检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive) Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HiveQL,它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析,快速将线下Hadoop大数据平台(CDH、HDP等)迁移上云,业务迁移
同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。
同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。
同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。
仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 - 密码 访问MRS Manager的用户密码。 - 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 是 单击“显示高级
Manager。 选择“集群 > 服务 > Impala > 实例”,可查看Impalad管理IP地址。 数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。
同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。
Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时,此参数是必选项。
> 配置 > 全部配置”,在右侧搜索“server.port”,获取HSBroker的端口号。 数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。
Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时,此参数是必选项。
性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 说明: STANDALONE模式主要是用
同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。
/opt/client/bigdata_env 执行修改目录权限命令。 hdfs dfs –chown omm:hadoop –R /hbase/data/default/table_20180811 omm:hadoop:表示用户名,实际场景中请替换。 /hbase/data/default/table_20180811:表示表所在路径。
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成
认证类型为KERBEROS时显示该参数。 Kerberos认证用户名。 数据源认证及其他功能配置 认证类型 是 手动参数选择连接串模式时的必选项。 选择数据库的认证类型。 包括SIMPLE类型、KERBEROS类型。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 父主题: 配置DataArts Studio数据连接参数
性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 说明: STANDALONE模式主要是用
选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 当前DataArts Studi
约束与限制 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。
Studio资源,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM
为什么权限同步到DLI中,会提示权限不够? 权限同步到DLI的任务通过云服务委托(dlg_agency)完成,因此需要委托拥有IAM认证服务相关权限,具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统