检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ
Manager页面执行滚动重启HBase服务和Hue服务。具体操作请参考重启MRS集群组件。 图1 HBase服务和Hue服务状态 新增弹性公网IP访问MRS Manager功能，弹性公网IP使用及注意事项说明参考访问MRS集群Manager。 普通集群（Kerberos关闭）增加了登录MRS Ma
前Kafka的jaas.conf中配置的是同一个，则Spark会报一个文件多次上传的问题。解决办法是复制一份keytab文件，使得--files和--keytab上传不同的文件。 父主题： 使用Spark
(args.length >= 2) { // 用户更改了默认的keytab文件名，这里需要将新的keytab文件名通过参数传入 conf.put(Config.TOPOLOGY_KEYTAB_FILE, args[1]); } // 定义KafkaSpout KafkaSpout
位于计算和存储之间，为包括 Apache Spark、Presto、Mapreduce 和 Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 商用
percent 设置磁盘之间进行数据均衡操作时，各个磁盘的数据存储量与理想状态之间的差异阈值。例如，各个磁盘的理想数据存储量为1TB，此参数设置为10。那么，当目标磁盘的数据存储量达到900GB时，就认为该磁盘的存储状态就已经足够好了。取值范围[1-100]。 10 dfs.disk
percent 设置磁盘之间进行数据均衡操作时，各个磁盘的数据存储量与理想状态之间的差异阈值。例如，各个磁盘的理想数据存储量为1TB，此参数设置为10。那么，当目标磁盘的数据存储量达到900GB时，就认为该磁盘的存储状态就已经足够好了。取值范围[1-100]。 10 dfs.disk
recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security
compat ldap”、“group: compat ldap”、“services: files ldap”、“netgroup: files ldap”、“aliases: files ldap”。 是，执行7。 否，执行9。 用root用户登录故障节点，执行cat /etc/nscd
recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security
conf”文件中配置。 表1 快速配置常用参数 配置项 说明 默认值 spark.sql.parquet.compression.codec 对于非分区parquet表，设置其存储文件的压缩格式。 在JDBCServer服务端的“spark-defaults.conf”配置文件中进行设置。
conf”文件中配置。 表1 快速配置常用参数 配置项 说明 默认值 spark.sql.parquet.compression.codec 对于非分区parquet表，设置其存储文件的压缩格式。 在JDBCServer服务端的“spark-defaults.conf”配置文件中进行设置。
HBase BulkLoad HBase BulkLoad支持用户自定义proto文件将数据文件中的字段导入HBase，该特性需要使用JDK将用户自定义的proto文件转换成Java文件，然后编译成Class文件运行。 组件进程堆栈信息采集 MRS集群内角色或实例的堆栈信息采集功能依赖于JDK，具体参见“采集堆栈信息”章节。
BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。
获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。 数据规划 创建HDFS数据文件。 在Linux系统上新建文本文件，将log1.txt中的内容复制保存到data.txt。 在HDFS上创建一个文件夹“/tmp/examples/multi-components/mapreduce/input/”，并上传data
获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。 数据规划 创建HDFS数据文件。 在Linux系统上新建文本文件，将log1.txt中的内容复制保存到data.txt。 在HDFS上创建一个文件夹“/tmp/examples/multi-components/mapreduce/input/”，并上传data
当执行结果输出到文件或者其他，由Flink应用程序指定，您可以通过指定文件或其他获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例： 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中。用户可以进入
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？ 回答 Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。 在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。
在开启了写时合并选项的Unique表中，数据在导入阶段就会将被覆盖和被更新的数据进行标记删除，同时将新的数据写入到新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出来的数据是最新的数据，消除了读时合并中数据聚合的过程，并且支持多种谓词的下推，因此在聚合查询场景下能带来较大的性能提升。
提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。 方案架构 Spark的应用运行架构如图1所示，运行流程如下所示： 应用程序（Application）是作为一个进程的集合运行在集群上的，由Driver进行协调。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
