检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
Sqoop常用命令及参数介绍 Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群 export 集群数据导出 codegen 获取数据库中某张表数据生成Java并打包jar create-hive-table 创建Hive表 eval 执行sql并查看结果
原因分析 用户反馈已经排查了执行此命令的账号权限，此账号具有操作Kafka组件的最高权限，不应该仍然会有权限不足的问题。 经确认执行命令有问题，访问ZooKeeper上所存放的Kafka信息，其路径（Znode）应该加上/kafka，完整的查询命令应该是： root@Slave2bin]#
配置Drop Partition命令支持批量删除 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 当前Spark中Drop Partition命令只支持等号来删除分区，配置该参数后可以支持多种过滤条件来批量删除，如'<'，'<='，'>'，'>='，'!>'，'!<'。 配置参数
CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 直接执行并发命令，命令详情如下表。 命令 参数及说明 命令作用 hdfs quickcmds [-t threadsNumber]
CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 直接执行并发命令，命令详情如下表。 命令 参数及说明 命令作用 hdfs quickcmds [-t threadsNumber]
当前登录的用户不具备操作此目录的权限或者文件目录格式不正确。 解决方案 Hive对load data inpath命令有如下权限要求，请对照下述要求是否满足： 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 当前用户需要对该文件的目录有执行权限。 由于load操作
/opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行如下命令查询HDFS命令的帮助。 ./hdfs --help 常用客户端命令请参考表1和表2。
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
/opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通集群跳过此步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令，获取topic信息，在控制台可见日志打印。
节点。 进入HBase客户端安装目录： 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权
节点。 进入HBase客户端安装目录： 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权
执行create external table命令报错 问题现象 执行命令：create external table xx(xx int) stored as textfile location '/tmp/aaa/aaa'，报以下错误： Permission denied. Principal
节点。 进入HBase客户端安装目录： 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权
建议先将本地文件放入HDFS，然后从集群中加载数据。 Hive对load data local inpath命令有如下权限要求，请对照下述要求是否满足： 由于所有的命令都是发送到主HiveServer上去执行的，所以要求此文件在HiveServer节点上。 HiveServer
执行set role admin命令报无权限 问题现象 执行命令： set role admin 报下述错误： 0: jdbc:hive2://192.168.42.26:21066/> set role admin; Error: Error while processing statement:
使用distcp命令拷贝空文件夹报错 问题背景与现象 通过MRS客户端使用以下distcp命令，无法从HDFS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret
Hive执行msck repair table命令时报错 现象描述 Hive执行msck repair table table_name命令报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
在beeline客户端执行dfs -put命令报错 问题现象 执行命令： dfs -put /opt/kv1.txt /tmp/kv1.txt 报以下错误： Permission denied. Principal [name=admin, type=USER] does not
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
