检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、E
port），默认值为“10000”。 在python3-examples/pyCLI_sec.py中，修改“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。
动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。 当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS无法及时处理。在task进行下一次重试时，句柄在NameNode端未被及时释放，即会发生"Failed
no.acl.found”配置，修改参数值为true，保存配置即可。 系统域名：可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。 查看作业管理界面，作业状态为“运行中”。 参考管理Kafka Topic
如果修改了集群kerberos域名，需要在代码中增加kerberos.domain.name的配置，并按照hadoop.expr=toLowerCase(%{default_realm}%{KerberosServer})规则配置正确的域名信息。例如：修改域名为HUAWEI.COM，则配置为hadoop
SYN_RECV状态数量 TIME_WAITING状态数量 FIN_WAIT2状态数量 FIN_WAIT1状态数量 CLOSE_WAIT状态数量 DNS解析时长 TCP临时端口使用率 主机网络数据包帧错误数 网络读信息 主机网络读包数 主机网络读包丢包数 主机网络读包错误数 主机网络接收速率
LoginUtil.setZookeeperServerPrincipal("zookeeper/hadoop.<系统域名>"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile);
LoginUtil.setZookeeperServerPrincipal("zookeeper/hadoop.<系统域名>"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile);
证和授权tokens，避免认证过期。 例如： spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_XXX/install/FusionInsight-Spark2x-2
本地环境使用开发工具下载依赖的jar包前，需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问：华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。
您数据迁移和集成的效率。 CDM服务迁移HDFS数据至MRS集群方案如图1所示。 图1 HDFS数据迁移示意 前提条件 已获取OBS的访问域名、端口，以及AK、SK信息。 已经创建包含有Hadoop服务的MRS集群。 拥有EIP配额并创建EIP。 步骤1：创建CDM集群并绑定EIP
SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。
表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
数据老化。 考虑到如下两个场景： 场景1：如果需要在流场景中去删除老化的分区，只能停止流任务执行DDL命令去删除分区。 场景2：当前不支持批量的删除老化的分区。TTL现在支持在流任务或异步任务中去完成分区级数据老化。 父主题： Hudi TTL语法说明
下载MRS集群日志 Manager支持批量导出各个服务角色所有实例生成的日志，无需手工登录单个节点获取。 下载MRS集群日志（MRS 3.x及之后版本） 登录FusionInsight Manager。 选择“运维 > 日志 ＞ 下载”。 选择日志下载范围。 “服务”：单击勾选所需服务。
如需使用Hudi，请确保MRS集群内已安装Spark/Spark2x服务。 图1 Hudi基本架构 Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优
集群互信管理 MRS集群互信概述 修改MRS集群系统域名 配置MRS集群间互信 配置互信MRS集群的用户权限 父主题： MRS集群安全配置
创建HBase全局二级索引 场景介绍 在用户的表中预先存在大量数据的情况下，可以在某个列上添加索引。 对于未建立索引的用户表，该工具允许用户同时添加和构建索引。 创建HBase全局二级索引 在HBase客户端执行以下命令即可添加或创建索引，执行命令后，指定的索引将被添加到表中： hbase
在“python3-examples/pyCLI_sec.py”中，修改“hadoop.hadoop.com”为“hadoop.实际域名”。实际域名可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
