检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
备切换。 ZooKeeper和YARN的关系 ZooKeeper与YARN的关系如图2所示。 图2 ZooKeeper与YARN的关系 在系统启动时，ResourceManager会尝试把选举信息写入ZooKeeper，第一个成功写入ZooKeeper的ResourceManager被选举为Active
extraLibraryPath”。 不添加表1中配置项时，使用方式与原有方式一致，程序可正常执行，只是在不同模式下需切换配置。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，在搜索框中输入参数名称。 表1 参数介绍
saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None)
eytab。 Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下，票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。
saveAsTextFile(path, compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None)
ameNode文件对象总量增加，需要消耗更多的内存，使集群现有硬件可能会难以满足业务需求，且导致集群难以扩展。 规划存储大量文件的HDFS系统容量，就是规划NameNode的容量规格和DataNode的容量规格，并根据容量设置参数。 容量规格 以下相关参数可以参考修改集群服务配置
集群属性”，查看集群的“认证模式”并记录。 选择“集群 > 服务 > Hive”，单击页面右上角的“更多”查看Hive是否启用Ranger鉴权。 选择“系统 > 权限 > 用户”，单击“添加用户”，配置以下参数并单击“确定”，创建执行自定义函数的用户： 用户名：填写用户名称，例如：test。 用户类型：选择“人机”用户。
Receiver将数据流分成一系列小块，存储到Executor内存中。另外，在启用预写日志（Write-ahead Log，简称WAL）以后，数据同时还写入到容错文件系统的预写日志中。 通知Driver（绿色箭头） 接收块中的元数据（Metadata）被发送到Driver的StreamingContext。这个元数据包括：
在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息，请参见自定义购买弹性云服务器。 方法二：使用本机访问MRS集群操作Impala，在安装开发环境后并完成以下步骤后再运行样例代码。
火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1表示区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
启动健康检查。 直接启动健康检查： 单击“服务管理”，选择“更多 > 启动服务健康检查”，启动服务健康检查。 设置定期自动健康检查： 单击“系统设置”，单击“维护”下方的“健康检查”，单击“健康检查配置”。 配置“健康检查报告文件最大份数”，该值必须是整数，取值范围1～100。 单
显示创建集群时的付费类型，目前支持“按需计费”和“包年/包月”。 集群版本 集群的版本信息。 集群类型 创建集群时的集群类型。 集群ID 集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 创建时间 显示集群创建的时间。 订单号 显示创建集群的订单号。该参数仅在“付费类型”为“包年/包月”时显示。 可用区
级别用256，TB级别用512，PB级别用1024。 DICTIONARY_EXCLUDE 设置指定列不生成字典，适用于数值复杂度高的列。系统默认为String类型的列做字典编码，但是如果字典值过多，会导致字典转换操作增加造成性能下降。 一般情况下，列的数值复杂度高于5万，可以被
点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。 对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略（org.apache.hadoop.hdfs.server.blockmanagement
dbcp.username" = "test", -- 关系型数据库密码，命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 "qubit.sql.dbcp.password" = "xxx"); 父主题： 使用Hive
client实例都会尝试再次连接NameNode，导致应用长时间等待超时。 当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时，会对系统造成负担。为了避免这种负担，MRS集群搭载了NameNode blacklist功能。 在新的Blacklisting DFSClient
impl”：指定使用Hive还是Spark SQL native作为SQL执行引擎来读取ORC数据，默认为hive。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 取值范围 spark.sql
impl”：指定使用Hive还是Spark SQL native作为SQL执行引擎来读取ORC数据，默认为hive。 配置参数 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 取值范围
点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。 对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略（org.apache.hadoop.hdfs.server.blockmanagement
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 通过Kerberos模式认证： ./sqoop2-shell -uk true -k user.keytab -s userPrincipal 系统显示如下信息： Welcome to sqoop
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
