检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录，里面包含通过Java API访问Impala的样例代码。 HiveQL语言
Impala应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录，里面包含通过Java API访问Impala的样例代码。 HiveQL语言
a1.txt，input_data2.txt到此目录，命令如下。 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -put local_filepath /tmp/input 开发思路
来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”。单击“全部配置”。
表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 操作：配置操作符。 比较值：配置比较值，可直接
表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 操作：配置操作符。 比较值：配置比较值，可直接
存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/client/Yarn/config”。
使用load从Linux本地磁盘导入数据时，文件需上传到执行命令的HiveServer并修改权限。建议使用客户端执行命令，可查看客户端连接的HiveServer。例如，Hive客户端显示“0: jdbc:hive2://10.172.0.43:21066/>”，表示当前连接的HiveServer节点IP地址为“10
overwrite操作。 操作步骤 假设存在如下一张表： user_data(user_group int, user_name string, update_time timestamp); 其中user_group是分区列，需要根据已有数据，按更新时间进行排序，刷新用户组信息。操作步骤如下： 在Hive
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上
已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 在首页中单击“HDFS”区域的组件插件名称，例如“hacluster”。
该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。 该节点与主OMS节点NTP服务时间偏差太大。 处理步骤 检查该节点的NTP服务是否正常启动。 检查ntpd进程是否运行在告警节点上。登录告警节点，执行sudo su - root切换用户。执行以下命令，检查命令是否输出ntpd进程的信息。
more (kafka.admin.TopicCommand$) 可能原因 Kafka服务处于停止状态。 客户端命令中ZooKeeper地址参数配置错误。 原因分析 使用客户端命令，打印NoNodeException异常。 Error while executing topic command
如何修改FlumeClient的日志为标准输出日志？ 登录Flume客户端安装节点。 进入Flume客户端安装目录，假设Flume客户端安装路径为“/opt/FlumeClient”，可以执行以下命令。 cd /opt/FlumeClient/fusioninsight-flume-1
调用创建集群接口：POST /v1.1/{project_id}/run-job-flow返回500。 原因分析 用户没有创建集群的权限。 处理步骤 检查是否拥有创建MRS集群的权限，可参考文档权限管理。 父主题： API使用类
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
"default.fs.name" and "hive.metastore.warehouse.dir" do not conflict. 原因分析 当前登录的用户不具备操作此目录的权限或者文件目录格式不正确。 解决方案 Hive对load data inpath命令有如下权限要求，请对照下述要求是否满足：
通过在Manager界面修改HBase配置开启冷热分离特性，支持将冷数据存储在OBS，热数据存储在HDFS中。 参考配置Guardian服务对接OBS章节对接OBS。 登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置”，在搜索框中搜索并修改以下参数： fs.col
解决办法 ZooKeeper连接失败导致。 Kafka客户端连接ZooKeeper服务超时。检查客户端到ZooKeeper的网络连通性。 网络连接失败，通过Manager界面查看Zookeeper服务信息。 图1 Zookeeper服务信息 配置错误，修改客户端命令中ZooKeeper地址。
方案二： 在FusionInsight Mnanager中Spark2x界面中修改上述三个参数然后重启Spark2x实例之后重新下载客户端，具体步骤如下： 登录FusionInsight Mnanager界面，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
