检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase应用开发简介 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
parquet_mngd; 注意事项 为了更好的加载数据性能，CTAS使用bulk insert作为写入方式。 系统响应 Table创建成功，创建成功的消息将被记录在系统日志中。 父主题： Hudi DDL语法说明
各组件样例工程汇总（2.x版本） 组件 样例工程位置 描述 Alluxio alluxio-examples 使用Alluxio通过公共接口连接到存储系统示例程序。可实现写文件、读文件等功能。 Flink flink-examples 该样例工程提供以下样例程序： DataStream程序
连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 -table <table-name> MySQL中用于存放导出数据的表名称。 -export-dir
如何解除网络ACL的关联子网 操作场景 用户可根据自身网络需求，解除网络ACL与子网的关联关系。 操作步骤 登录管理控制台。 在服务列表中单击“网络 > 虚拟私有云”。 在左侧导航栏单击“访问控制 > 网络ACL”。 在右侧在“网络ACL”列表区域，选择网络ACL的名称列，单击您需要修改的网络ACL名称进入详情页面。
required useKeyTab=true keyTab="./user.keytab" principal="sparkuser@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 使用--files和相对路径
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
存使用，提升解析效率。 设置spark.speculation=false，关闭推测执行，开启该参数会带来额外的cpu消耗，同时Hudi不支持启动该参数，启用该参数写Hudi有概率导致文件损坏。 配置项 集群默认值 调整后 --conf spark.sql.enableToString
spark-examples-security （已包含安全认证代码） yarn-client 代码认证。 yarn-cluster 不支持。 如上表所示，yarn-cluster模式中不支持在Spark工程代码中进行安全认证，因为需要在应用启动前已完成认证。 未提供Python样例工程的安全认证代码，
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 节点业务无法提供。 可能原因 网络断连或硬件故障。 处理步骤 检查网络是否断连或硬件是否故障。 打开MRS集群详情页面，在告警管理
Manager HA Name 本地Manager HA名称。 Peer Manager HA Name 对端Manager HA名称。 对系统的影响 备Manager的配置文件没有更新。主备倒换之后，一些配置可能会丢失。Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断。
TRUNCATE TABLE参数描述 参数 描述 tableIdentifier 表名。 示例 truncate table h0_1; 系统响应 通过运行QUERY语句查看表中数据已被删除。 父主题： Hudi DDL语法说明
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
实际域名”，实际域名可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信 > 本端域” 查看；主机名为hadoop，服务名为hive。 conf = {"krb_host":"hadoop.<系统域名>", "krb_service":"hive"}
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
Insight Manager为主机重新分配机架，相关服务才会自动调整。 本章节仅适用于MRS 3.x及以后版本。 修改集群节点机架信息对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka，使配置信息生效。
Manager HA Name 本地Manager HA名称。 Peer Manager HA Name 对端Manager HA名称。 对系统的影响 如果主Manager进程异常，主备倒换无法进行，影响业务。 可能原因 主备Manager节点间链路异常。 处理步骤 检查主备Manager服务器间的网络是否正常。
tableName 表名。 newTableName 新表名。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题： Hudi Schema演进及语法说明
PERTIES进行定义，系统会选择数据文件实际大小和设置的blocksize大小中的较大值，作为该数据文件在HDFS上存储的实际blocksize大小。单位为MB，默认值为1024MB，范围为1MB~2048MB。如果设置值不在[1, 2048]之间，系统将会报错。 一旦bloc
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
