检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gender: String, stayTime: Int) def main(args: Array[String]) { //配置Spark应用名称 val spark = SparkSession .builder() .appName("FemaleInfo")
BulkLoad导入数据成功，执行相同的查询时却可能返回不同的结果 HBase数据恢复任务报错回滚失败 HBase RegionServer GC参数Xms和Xmx的配置为31GB，导致RegionServer启动失败 在集群内节点使用LoadIncrementalHFiles批量导入数据，报错权限不足 使用Phoenix
数据规划 业务1的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录，可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat
数据规划 业务1的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录，可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat
gender: String, stayTime: Int) def main(args: Array[String]) { //配置Spark应用名称 val spark = SparkSession .builder() .appName("FemaleInfo")
version}变量。该变量的解析逻辑为，os为aarch64时值为“1.0.0-hw-aarch64”，os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时，可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依
址保存在RMStateStore中。 JobHistoryServer服务地址变更后，需要将新的服务地址及时更新到MapReduce客户端配置文件中，否则，新运行的作业在查看作业历史信息时，仍然会指向原JobHistoryServer地址，导致无法正常跳转到作业历史信息页面。服务
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode内存使用率过高，会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端，执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode内存使用率过高，会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端，执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。
这种情况为小概率事件且不影响Spark SQL对外展现的应用完成状态。也可以通过增大Yarn客户端连接次数和连接时长的方式减少此事件发生的概率。配置详情请参见： http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-common/yarn-default
问题3：使用--keytab和--principal将keytab文件和对应用户带入任务中。如果此处的keytab文件和之前Kafka的jaas.conf中配置的是同一个，则Spark会报一个文件多次上传的问题。解决办法是复制一份keytab文件，使得--files和--keytab上传不同的文件。
-Dupdate.hfile.output=/user/output/：表示执行结果输出路径为“/user/output/”。 当HBase已经配置透明加密后，“批量更新”操作注意事项请参考7。 执行以下命令，加载HFiles： hbase org.apache.hadoop.hbase
Job，Receiver对于Spark是一个普通的任务，但它的生命周期和Spark Streaming任务相同，并且占用一个核的计算资源。 在调试和测试等经常使用默认配置的场景下，要时刻注意核数与Receiver个数的关系。 父主题： Spark Streaming
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。
在产品未发布对应解决方案前，建议您参考以下的相关预防措施。 加固物理设备安全边界，防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码，如果有，建议修改新密码。 加强环境管理面账户密码管控，确保不泄露不扩散。 部分安全厂商已经提供了针对该漏洞的预防措施，您可联系对应的安全
HBase样例程序开发思路 通过典型场景，您可以快速学习和掌握HBase的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下： 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。
问等相关组件的权限时，需由admin（Manager管理员）用户进行授权，给提交作业用户赋予相关组件权限。 使用admin用户登录集群Manager界面。 参考管理MRS集群角色内容，增加用户具体需要的组件权限的角色。 参考管理MRS集群用户组修改提交作业用户所属的用户组，将新增的组件角色加入到该用户组中。
找到类似JAVA_OPTS=“-Xms1024m -Xmx4096m”的配置，将其值根据需要进行修改，保存修改。 重启manager-executor进程，该进程在Master1和Master2节点上为主备部署，同一时刻只有一个节点上运行该进程，首先确认节点上是否有该进程，如果有该进程则进行重启操作。
CDL业务运行用户无权限在其他用户创建的数据库中创建表。 处理步骤 登录FusionInsight Manager，选择“系统 > 角色 > 添加角色”，填写角色名称，在“配置资源权限”表格中选择“待操作的集群名称 > Hive > Hive读写权限”，在待操作数据库所在行勾选“查询”、“删除”、“插入”、“建表
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
