检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark常用命令介绍 Spark命令详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法： 进入Spark客户端目录。 初始化环境变量。 source /o
使用curl命令操作OpenTSDB 写入数据 例如，录入一个指标名称为testdata，时间戳为1524900185，值为true，标签为key，value的指标数据。 curl -ki -X POST -d '{"metric":"testdata", "timestamp":1524900185
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
HBase冷热分离相关命令介绍 此章节主要介绍HBase冷热分离相关命令的使用，包括Shell命令和Java API命令。 Shell命令在HBase客户端执行，需提前安装HBase客户端，详情请参见安装MRS客户端。 设置HBase表的冷热分界线 Shell 创建冷热分离表。 create
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 直接执行并发命令，命令详情如下表。 命令 参数及说明 命令作用 hdfs quickcmds [-t threadsNumber]
CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 直接执行并发命令，命令详情如下表。 命令 参数及说明 命令作用 hdfs quickcmds [-t threadsNumber]
原因分析 用户反馈已经排查了执行此命令的账号权限，此账号具有操作Kafka组件的最高权限，不应该仍然会有权限不足的问题。 经确认执行命令有问题，访问ZooKeeper上所存放的Kafka信息，其路径（Znode）应该加上/kafka，完整的查询命令应该是： root@Slave2bin]#
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
当前登录的用户不具备操作此目录的权限或者文件目录格式不正确。 解决方案 Hive对load data inpath命令有如下权限要求，请对照下述要求是否满足： 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 当前用户需要对该文件的目录有执行权限。 由于load操作
/opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通集群跳过此步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令，获取topic信息，在控制台可见日志打印。
配置Drop Partition命令支持批量删除 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 当前Spark中Drop Partition命令只支持等号来删除分区，配置该参数后可以支持多种过滤条件来批量删除，如'<'，'<='，'>'，'>='，'!>'，'!<'。 配置参数
Hive Group By语句优化 操作场景 优化Group by语句，可提升命令执行速度和查询速度。 Group by的时候， Map端会先进行分组， 分组完后分发到Reduce端， Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。
节点。 进入HBase客户端安装目录： 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权
Flink客户端执行命令报错“Could not connect to the leading JobManager” 问题背景与现象 创建Fllink集群，执行yarn-session.sh命令卡住一段时间后报错： 2018-09-20 22:51:16,842 | WARN
/opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行如下命令查询HDFS命令的帮助。 ./hdfs --help 常用客户端命令请参考表1和表2。
如果当前集群已启用Kerberos认证，需先配置客户端认证，可参考5。如果当前集群未启用Kerberos认证，则无需执行该步骤。 参考表1运行相关命令。 表1 Flink Shell命令参考 命令 参数说明 描述 yarn-session.sh -at,--applicationType <arg>：为Yarn
如果当前集群已启用Kerberos认证，需先配置客户端认证，可参考5。如果当前集群未启用Kerberos认证，则无需执行该步骤。 参考表1运行相关命令。 表1 Flink Shell命令参考 命令 参数说明 描述 yarn-session.sh -at,--applicationType <arg>：为Yarn
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
