检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。
表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。
info.modify_time,valid=info.valid"); 在sparksql中创建CarbonData表： create table carbon01(key string,modify_time STRING, valid STRING) stored as carbondata; 初始化加载当前
初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
进入客户端安装目录“/opt/client”，执行下列命令初始化环境变量。 source bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例，需要重新kinit。
HDFS与其他组件的关系 HDFS和HBase的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件
Manager界面超时退出后无法正常登录 现象描述 MRS Manager超时退出后偶现无法正常登录访问页面。 可能原因 超时后页面的js及css文件未加载成功。 操作步骤 清除浏览器缓存。 刷新当前页面即可正常登录及访问。 父主题： 登录集群Manager常见异常问题
Spark Application的结构 Spark Application的结构可分为两部分：初始化SparkContext和主体程序。 初始化SparkContext：构建Spark Application的运行环境。
Spark Application的结构 Spark Application的结构可分为两部分：初始化SparkContext和主体程序。 初始化SparkContext：构建Spark Application的运行环境。
数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaSerializer
Spark Application的结构 Spark Application的结构可分为两部分：初始化SparkContext和主体程序。 初始化SparkContext：构建Spark Application的运行环境。
import java.io.Seriablizale; // 该类作为快照的一部分，保存用户自定义状态 public class UDFState implements Serializable { private long count; // 初始化用户自定义状态
import java.io.Seriablizale; // 该类作为快照的一部分，保存用户自定义状态 public class UDFState implements Serializable { private long count; // 初始化用户自定义状态
进入客户端安装目录“/opt/client”，执行下列命令初始化环境变量。 source bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例，需要重新kinit。
初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证，需先配置客户端认证，可参考5。如果当前集群未启用Kerberos认证，则无需执行该步骤。 参考表1运行相关命令。
初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证，需先配置客户端认证，可参考5。如果当前集群未启用Kerberos认证，则无需执行该步骤。 参考表1运行相关命令。
import java.io.Seriablizale; // 该类作为快照的一部分，保存用户自定义状态 public class UDFState implements Serializable { private long count; // 初始化用户自定义状态
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
图2 离线数据加载 场景特点： 业务特点为离线数据，端到端时延无要求，仅对数据集市中的数据查询时延有要求，如离线报表场景、实时报表的数据初始化场景。
import java.io.Seriablizale; // 该类作为快照的一部分，保存用户自定义状态 public class UDFState implements Serializable { private long count; // 初始化用户自定义状态
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
