检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Phoenix命令行操作介绍 Phoenix支持SQL的方式来操作HBase，以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。 前提条件 已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用
Spark常用命令介绍 Spark命令详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法： 进入Spark客户端目录。 初始化环境变量。 source /o
原因分析 用户反馈已经排查了执行此命令的账号权限，此账号具有操作Kafka组件的最高权限，不应该仍然会有权限不足的问题。 经确认执行命令有问题，访问ZooKeeper上所存放的Kafka信息，其路径（Znode）应该加上/kafka，完整的查询命令应该是： root@Slave2bin]#
使用Yarn客户端命令查询历史作业报错 问题现象 执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下: 原因分析 客户端分配内存不足，导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env
gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同，需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中，例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括HDFS的客户端。
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括HDFS的客户端。
code=1) 原因分析 当前登录的用户不具有Hive的admin角色的权限。 解决方案 登录Manager。 MRS 3.x之前版本，执行7。 MRS 3.x及之后版本，选择“集群 > 服务 > Hive”，在服务“概览”页面右上角单击“更多”，查看“启用Ranger鉴权”是否置灰。
Phoenix命令行操作介绍 Phoenix支持SQL的方式来操作HBase，以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。 前提条件 已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用
Phoenix命令行操作介绍 Phoenix支持SQL的方式来操作HBase，以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。 前提条件 已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用
<arg>：为JobManager设置内存。 -m,--jobmanager <arg>：要连接的JobManager的地址，使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel 。 -nm,--name <arg>：为Yarn
<arg>：为JobManager设置内存。 -m,--jobmanager <arg>：要连接的JobManager的地址，使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel 。 -nm,--name <arg>：为Yarn
/opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行如下命令查询HDFS命令的帮助。 ./hdfs --help 常用客户端命令请参考表1和表2。
至运行此应用的Spark节点中。 SparkLauncher程序的编译依赖包为spark-launcher_2.10-1.5.1.jar。 用户应用程序的编译依赖包根据代码不同而不同，需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中，例如“$SPARK_HOME/lib”路径。
Hive执行msck repair table命令时报错 现象描述 Hive执行msck repair table table_name命令报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
Phoenix命令行操作介绍 Phoenix支持SQL的方式来操作HBase，以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。 前提条件 已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用
--check-column 增量判断的字段 --incremental append或lastmodified 增量导入参数 append：追加，比如对大于last-value指定的值之后的记录进行追加导入。 lastmodified：最后的修改时间，追加last-value指定的日期之后的记录。 --last-value
原因分析 当前登录的用户不具备操作此目录的权限或者文件目录格式不正确。 解决方案 Hive对load data inpath命令有如下权限要求，请对照下述要求是否满足： 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 当前用户需要对该文件的目录有执行权限。
PASSWD -d hivemeta 执行以下命令可以查看Hive元数据库中的所有元数据表： \d+ 执行q退出查看元数据表页面。 执行以下命令可以查看元数据表中的数据： select * from 表名; DBServer主节点的IP地址可登录Manager界面，选择“集群 >
配置Drop Partition命令支持批量删除 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 当前Spark中Drop Partition命令只支持等号来删除分区，配置该参数后可以支持多种过滤条件来批量删除，如'<'，'<='，'>'，'>='，'!>'，'!<'。 配置参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
