检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
<系统域名>@<系统域名>”。
(SECURITY_PROTOCOL, kafkaProc.getValues(SECURITY_PROTOCOL, "SASL_PLAINTEXT")); // 服务名 props.put(SASL_KERBEROS_SERVICE_NAME, "kafka"); // 域名
操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
用户可查看客户端所在节点的IP地址、安装路径、组件列表、注册时间及安装用户等信息。 在当前最新版本集群下载并安装客户端时,客户端信息会自动注册。
注意事项 在执行此命令之前,使用REFRESH TABLE将主表和二级所索引表都注册到Hive元数据中。
Hive任务运行过程中失败,重试成功 执行select语句时报错“Execution Error return code 2” 有大量分区时执行drop partition操作失败 执行join操作时localtask启动失败 修改hostname后导致WebHCat启动失败 集群修改域名后
注意事项 在执行此命令之前,使用REFRESH TABLE将主表和二级所索引表都注册到Hive元数据中。
name=xxx&age=25#teacher');--teacher url_extract_host(url)→ varchar 描述:返回url中的主机域名。
一个完整的用户对象包含两个部分信息:用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。
<系统域名>@<系统域名> # keytab file client.keytab.file=./conf/login/hdfs.keytab 表2 配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。
说明: 登录FusionInsight Manager页面,选择“系统 > 权限 > 域和互信 > 本端域”,即可查看系统域名,系统域名所有字母需转换为小写。
<系统域名>@<系统域名> # keytab file client.keytab.file=./conf/login/hdfs.keytab 表2 配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。
配置Spark加载第三方jar包,用于注册UDF或者扩展SparkSQL 本章节仅适用于MRS 3.5.0-LTS及之后版本。 配置场景 用户可能经常会自定义UDF或者使用一些自定义jar扩展Spark能力,针对这种第三方jar需要在Spark启动前指定好第三方类加载路径。
操作流程 本实践以某图书网站后台用户的点评数据为原始数据,导入Hive表后通过SQL命令筛选出最受欢迎的图书。
一个完整的用户对象包含两个部分信息:用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。
方案架构 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。
配置运行环境网络 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:配置本地Windows开发环境与MRS集群节点内网络互通。
<系统域名>作为执行物化视图自动刷新的用户, 当创建物化视图语句查询外部Hive数据源,且该数据源已开启数据源鉴权时,需修改执行自动刷新的用户,修改方法如下: 对端集群是否已安装HetuEngine服务。 是:执行3。 否:执行2。 准备系统用于自动刷新的用户。