检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
在ZooKeeper实例所在Linux节点使用ping命令，看能否ping通其他ZooKeeper实例所在节点的主机名。 是，执行15。 否，执行12。 修改“/etc/hosts”中的IP信息，添加主机名与IP地址的对应关系。 再次执行ping命令，查看能否在该ZooKeeper实例节点pin
”参数中“-XX:MaxDirectMemorySize”的值为“TokenServer使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 重新启动受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 在重启服务或实例期间，可能会造成访问Guardian失败，从而导致作业无法访问OBS。
和内存”，勾选“ZooKeeper堆内存与直接内存资源状况”，单击“确定”，查看ZooKeeper实际使用的堆内存大小。 根据堆内存实际使用量，修改GC_OPTS参数中的-Xmx值，该值一般为Zookeeper数据容量的2倍。例如当前ZooKeeper堆内存使用达到2G，则GC_OPTS建议配置为“-Xms4G
启用Kerberos认证（普通模式）请跳过该步骤。 kinit hdfs 按提示输入密码，用户密码可以向MRS集群管理员获取，首次认证需要修改密码。 执行以下命令退出HDFS安全模式。 hdfs dfsadmin -safemode leave 等待5分钟，检查该告警是否恢复。 是，执行6。
告警。 用户可通过“运维 >告警 >阈值设置 > 待操作集群的名称 > Hive > Hive已经使用的HDFS空间占可使用空间的百分比”修改阈值。 平滑次数为1，Hive数据仓库空间使用率小于或等于阈值时，告警恢复；平滑次数大于1，Hive数据仓库空间使用率小于或等于阈值的90%时，告警恢复。
出阈值（默认为最大堆内存的95%）时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Mapreduce”修改阈值。 平滑次数为1，MapReduce JobHistoryServer堆内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，MapReduce
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
return tuple2.value(); } }); // 汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair( new PairFunction<String
return tuple2.value(); } }); //汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair( new PairFunction<String
return tuple2.value(); } }); // 汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair( new PairFunction<String
return tuple2.value(); } }); //汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair( new PairFunction<String
转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如，一个查询期望得到一个varchar类型的值，HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要，可以将值显式转换为指定类型。
在Spark样例工程代码中，不同的样例工程，使用的认证代码不同，基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表2所示，请根据实际情况修改对应参数值。 表2 参数描述 参数 示例参数值 描述 userPrincipal sparkuser 用户用于认证的账号Principal，您可以联系管理员获取此账号。
（1）创建表描述符 （2）创建列族描述符 （3）添加列族描述符到表描述符中 （4）获取Admin对象，Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 （5）调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式，代码片段如下： //设置
（1）创建表描述符。 （2）创建列族描述符。 （3）添加列族描述符到表描述符中。 （4）获取Admin对象，Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 （5）调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式，代码片段如下： //设置
Manager，单击“集群 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题： Spark Core
format.default data file format 该参数的默认值和“write.format.default”参数值保持一致，可以修改为parquet、avro或orc。 write.parquet.row-group-size-bytes 134217728（128MB）
uid=20038(test) gid=9998(ficommon) groups=9998(ficommon) 重新执行ImportData。 方法二：修改当前用户的属组。 将该用户添加到ficommon组中。 [root@xxx-xxx-xxx-xxx ~]# usermod -a -G ficommon
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
