检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
smartctl -d sat+megaraid,2 -t long /dev/sda 是，执行16。 否，执行17。 磁盘不支持smart，通常是因为配置的RAID卡不支持，此时需要使用对应RAID卡厂商的检查工具进行处理，然后执行16。 例如LSI一般是MegaCLI工具。 在告警详情页面
执行程序时引入的jackson相关包与集群自带的包版本不一致，导致报错，建议使用集群自带的jackson相关jar包。 集群jar包路径：“客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 父主题： MRS应用开发开源jar包冲突列表说明
当表名为table时，执行相关操作时出现异常 问题 当创建了表名为table的表后，执行drop table table上报以下错误。 或者执行其他操作也会出现类似错误。 16/07/12 18:56:29 ERROR SparkSQLDriver: Failed in [drop
执行程序时引入的jackson相关包与集群自带的包版本不一致，导致报错，建议使用集群自带的jackson相关jar包。 集群jar包路径：客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 Spark jar包冲突也可以参考常见jar包冲突处理方式。 父主题：
left()等函数截取中文字符时，不能把中文当做1个字符长度来处理，导致报编码问题。 处理步骤 登录Impala客户端安装节点，执行以下命令。 cd 客户端安装目录 source bigdata_env 执行以下命令创建表。 impala-shell -d bigdata 执行以下命令查询表数据。
组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号，由系统自动生成。 如果MRS集群安装了Spark组件，则默认会启动一个作业“Spark-JDBCServer”，用于执行任务。 搜索作业 在“作业浏览器”的搜索栏，输入指定的
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
s.jar到本地，并将该Jar上传到所有的HiveServer所在节点。 以客户端安装用户，登录1上传了Jar包并且安装了Hive和HDFS客户端的节点。 执行以下命令认证用户。 cd 客户端安装目录 source bigdata_env kinit 具有Hive管理员权限的用户
以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询MRS集群管理员。执行如下命令： 安全模式： cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式： su - omm cd 客户端安装目录 source bigdata_env
为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 问题 为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 回答 Spark SQL对
Spark从HBase读取数据再写入HBase样例程序（Python） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
Spark从HBase读取数据再写入HBase样例程序（Python） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
帮助用户监控集群中大数据组件和节点的健康状态，同时提供告警通知能力，用户可以实时掌握MRS集群的各项指标、健康度。 MRS支持将集群中所有部署角色的节点，按管理节点、控制节点和数据节点进行分类，分别计算关键主机监控指标在每类节点上的变化趋势，并在报表中按用户自定义的周期显示分布曲
删除MRS集群 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除或退订操作。当MRS集群部署失败时，集群会被自动删除或退订。 对于按需收费模式集群，如果作业执行结束后不需要集群， 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作，如果作业执行结束后不需要集群，
Storm应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
若IAM用户已同步，可在组件管理观察到存在未启动角色。 若未同步，可在集群Manager页面观察到存在未启动角色。 处理步骤 场景一：添加节点任务在安装组件前失败 如果MRS集群为按需购买集群： 登录MRS服务控制台。 选择 “现有集群” ，单击集群名称进入集群详情页面。 单击页面上面的按
在集群外节点连接开启Kerberos认证的集群，HTTP在Kerberos数据库中无法找到相应的记录 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常，但在集群外节点运行PrestoJDBCE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
