检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。在Spark目录下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。
图1 设置Eclipse的编码格式 修改样例（未开启Kerberos认证集群可跳过此步骤）。 在4获取新建开发用户的krb5.conf和user.keytab文件后，修改presto.properties中的KerberosPrincipal为对应新建用户的principal
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志 tezui.out TezUI运行环境信息日志 tezui
CaiXuyu,female,50 FangBo,female,60 前提条件 在Manager界面创建用户并开通其HDFS、YARN、Kafka和Hive权限。 根据所用的开发语言安装并配置IntelliJ IDEA及JDK等工具。 已完成Spark2x客户端的安装及客户端网络连接的配置。
集群的KrbServer服务运行状态正常。 获取集群外的节点root用户密码。 集群已规划并添加“人机”用户，并获取认证凭据文件。请参见创建用户（MRS 3.x及之后版本）和下载MRS集群用户认证凭据文件。 配置集群外节点用户访问普通模式集群资源 以root用户登录到需要添加用户的节点。 执行以下命令： rpm -qa
xml”和“mapred-site.xml”文件，如果是安全模式集群，还需要同时获取“user.keytab”、“krb5.conf”，并在Linux环境上创建文件夹保存这些配置文件，例如“/opt/conf”。 请联系管理员获取相应账号对应权限的“user.keytab”和“krb5
query, tsd, scan, search, uid, version 创建OpenTSDB指标 创建存入到OpenTSDB中的指标名称，可执行tsdb mkmetric sys.cpu.user命令创建sys.cpu.user。 Start run net.opentsdb
UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，MRS版本中添加了查询SQL、JDBC/ODBC
解决异常导致Map数量和Reduce数量都为0时，中断任务问题 解决Hive向量化if语句中Output column number expected to be 0 when isRepeating报错问题 解决Hive向量化if语句中由于数据被覆盖导致数据错误和NPE问题 解决开
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志 tezui.out TezUI运行环境信息日志 tezui
字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换 传入数据为NULL值，不做转换处理。 输入一个或多个字段的值，输出计算结果。 输入类型和算子不兼容时，当前行为脏数据。 字符串大小写转换 传入数据为NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。
运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different version %s than
MRS集群租户资源最小值为0时只能同时运行一个任务吗？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？ Spark作业的Client模式和Cluster模式有什么区别？ 如何查看MRS作业的日志？ 提交作业时系统提示当前用户在Manager不存在如何处理？ LauncherJo
so和libjsig.so。 无 spark.executorEnv.LD_PRELOAD 为executor设置环境变量LD_PRELOAD 设置为$PWD/libch.so $PWD/libjsig.so 说明： 此参数用于executor提前加载libch.so和libjsig
磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。 /var/log
功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式： 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表，如果数据要被多种工具
字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换 传入数据为NULL值，不做转换处理。 输入一个或多个字段的值，输出计算结果。 输入类型和算子不兼容时，当前行为脏数据。 字符串大小写转换 传入数据为NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。
运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different version %s than
部分磁盘故障，更换为新盘，因此新盘使用率低。 增加了磁盘个数，如原先4个数据盘，现扩容为5个数据盘。 原因分析 DataNode节点内写block磁盘时，有两种策略“轮询”和“优先写剩余磁盘空间多的磁盘”，默认是“轮询”。 参数说明：dfs.datanode.fsdataset.volume.choosing.policy
如遇到MetaException或者连接MetaStore失败，则需要查看MetaStore运行日志。 GC日志查看 HiveServer和MetaStore均有GC日志，当遇到GC问题可以查看GC日志以快速定位是否是GC导致。例如遇到HiveServer或MetaStore频繁重启就需要去看下对应的GC日志。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
