检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作) 执行以下命令登录Hive客户端。
备Master节点的原始客户端全量更新,请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
支持视图和物化视图的列级别授权。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 >
Dataconnector error. 连接器的名称不合法,名称只能包含字母大小写、数字、-_! 连接器的ID不能为空! 不支持的数据类型: xxx! 不支持的组件数据类型: xxx! 没有找到连接ID为xxx的数据连接实例! 没有找到ID为xxx的集群与数据连接映射! 没有找到连接ID为xxx的集群与数据连接映射!
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
场景下。 ZooKeeper默认部署在MRS集群的Master节点,根据节点CPU和内存规格,调整ZooKeeper实例的最大可用内存。 登录MRS集群的FusionInsight Manager界面,单击“集群 > 服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer
MRS管理控制台和集群Manager页面功能区别有哪些? 问: MRS管理控制台和集群Manager页面有什么区别与联系? 答: 用户可以通过MRS管理控制台页面登录到MRS的Manager页面。 Manager分为MRS Manager和FusionInsight Manager,其中: MRS 2.
保存配置,重启Spark服务。 登录Spark客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark/component_env 安全模式执行以下命令,普通模式无需执行: kinit test,输入密码完成认证(首次登录需要修改密码) 使用Spark的
Kafka消息积压”告警。 本章节内容仅适用于MRS 3.5.0及之后版本。 配置积压告警规则 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作,例如创建Topic,需同时
ocal_library_dir配置项控制,“/tmp”目录下的文件保存一定时间后会被操作系统删除,导致Impala查询时出现缺类错误。 登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > 自定义”,在“impalad
使用新建的用户dorisuser重新登录FusionInsight Manager,修改该用户初始密码。 集群未启用Kerberos认证(普通模式) 使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 已安装Flink客户端。
获取JDBC连接,确认HQL的类型(DDL/DML),调用对应的接口执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 Connection connection = null; try { // 获取JDBC连接 connection
如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同,代码样例如下所示。 //初始化 confLoad(); // 创建一个用例
在遇到诸如下述类问题时,需要查看审计日志: 如客户端发起请求,但是未得到响应。由于不确定任务是卡在客户端还是服务端,可以通过审计日志查看。如果审计日志根本没有相关信息,那么说明任务终止在客户端;如果审计日志有相关信息打印,那么就需要去运行日志里进一步定位原因。 查看指定时间段的任务请求个数,可
(Garbage Collection),评估内存中RDD的大小来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的GC情况(在客户端的conf/spark-default.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor
r节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.2.2补丁,不需要做此操作。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。
为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色,且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端,具体操作请参考Hive客户端使用实践。 执行以下命令切换引擎并开启“yarn.timeline-service.enabled”参数:
true 标识是否与OBS建立安全连接。 true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。 false:关闭安全连接。 单击“保存配置”,根据界面提示保存修改的参数。 Hadoop配置 方式一:通过界面配置。 登录MRS控制台,在左侧导航栏选择“现有集群”
execute.timeout”值为“10000000”(根据当前集群中的DBService数据量调大超时时间)。 以omm用户登录集群备OMS节点,重复执行1。 以omm用户登录主OMS节点,执行以下命令查询BackupRecoveryPluginProcess进程id,并结束此进程。 jps|grep
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础,如果用户使用了自己的配置文件目录,则需要修改本应用配置目录中的对应文件,并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时,使用hostname配置服务端地址,因此,客户端的/etc/ho