检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/SK信息。 com.obs.services.EnvironmentVariableObsCredentialsProvider：从环境变量中读取AK/SK信息。 com.huawei.mrs.MrsObsCredentialsProvider 父主题： HDFS运维管理
console，调整为DEBUG。 export HADOOP_ROOT_LOGGER=ERROR,console，调整为ERROR。 永久调整 在HDFS客户端环境变量配置文件“/opt/client/HDFS/component_env”（其中“/opt/client”需要改为实际客户端路径）增加“export
tkill -S tgkill -F a1!=0 -k process_killed 查看规则： auditctl -l 当进程有异常被终止后，使用ausearch -k process_killed命令，可以查询终止历史。 a0是被终止进程的PID（16进制），a1是kill命令的信号量。
当前Spark SQL执行一个查询时需要使用大量的内存，尤其是在做聚合（Aggregate）和关联（Join）操作时，此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关的查询，而不出现OutOfMemoryError。
当前Spark SQL执行一个查询时需要使用大量的内存，尤其是在做聚合（Aggregate）和关联（Join）操作时，此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关的查询，而不出现OutOfMemoryError。
ionInsight Manager界面，选择“运维 > 告警 > 告警”，等待2分钟，查看该告警是否自动恢复。 是，处理完毕。 否，执行2。 查看异常的Tablet并修复。 选中该告警，查看“附加信息”中“tabletId”的值。如果异常Tablet较多，附加信息中不能完全显示相关信息，可在Master
里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm WebUI查看拓扑DAG图，发现DAG图与拓扑定义一致。 查看KeyWordFilter Bolt输出流字段定义和发送消息字段发现一致。 查看Oracle数据库中表定义，发现字段名为大写，与流定义字段名称不一致。
、写入到查询流程的样例工程。 OpenTSDB样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测OpenTSDB应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看导入数据的状态。 查看OpenTSDB应用调测结果 父主题：
test_table partition(p1='a') select col1,col2,col3 from temp_table; 查询test_table表数据，返回结果中列col3的值全为NULL select * from test_table where p1='a' 新添加表分区，并插入数据
worker中开启profiling。通过sc.show_profiles()展示分析结果。或者在driver退出前展示分析结果。可以通过sc.dump_profiles(path) 将结果转储到磁盘中。如果一些分析结果已经手动展示，那么在Driver退出前，它们将不会再自动展示。 默认使用pyspark
/SK信息。 com.obs.services.EnvironmentVariableObsCredentialsProvider：从环境变量中读取AK/SK信息。 com.huawei.mrs.MrsObsCredentialsProvider 父主题： HDFS运维管理
密码。 执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。 检查本告警是否恢复。 是，处理完毕。 否，执行4。 查看DataNode JVM内存使用情况和当前配置。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务
创建包含SELECT查询结果的新表。 使用CREATE TABLE创建空表。 使用IF NOT EXISTS子句时，如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性，如表的存储位置（location）、是不是外表（external）等。 示例 用指定列的查询结果创建新表
x及之后版本请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户
在Session级别开启UDF函数运算结果的隐式转换 登录HetuEngine客户端。 执行以下命令，开启UDF函数运算结果的隐式转换功能。 set session udf_implicit_conversion=true; 在System级别开启隐式转换或UDF函数运算结果的隐式转换 登录 FusionInsight
Streaming对接Kafka0-10样例程序（Java） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com
Streaming对接Kafka0-10样例程序（Java） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com
/opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 执行以下命令，进行用户认证。 kinit 组件业务用户 使用“kafka-acl.sh”进行用户授权常用命令如下。 查看某Topic权限控制列表： ./kafka-acls
conf配置文件中配置项spark.beeline.principal的值。 开发思路 在default数据库下创建child表。 把“/home/data”的数据加载进child表中。 查询child表中的数据。 删除child表。 父主题： 通过JDBC访问Spark SQL的程序
创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能。 MRS 3.3.0及之后版本，可实现创建/删除全局二级索引、修改全局二级索引状态、以及基于全局二级索引查询等功能。 hbase-rest-example HBase Rest接口应用开发示例。 使用Rest接口实现查询HBase
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
