检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi关键技术和优势 可插拔索引机制：Hudi提供多种索引机制，可以快速完成对海量数据的更新和删除操作。 良好的生态支持：Hudi支持多种数据引擎接入包括Hive、Spark、Flink。 Hudi支持两种表类型 Copy On Write 写时复制表也简称cow表，使用parquet文
jar flux-wrappers-<version>.jar 获取业务相关其他jar包，如访问HDFS时需要获取的jar包请参见5，其他场景类似。 Flux配置文件样例 下面是一个完整的访问Kafka业务的yaml文件样例： name: "simple_kafka" components:
场景，可执行以下操作进行调整： 登录FusionInsight Manager，选择“集群 > 服务 > HBase > 图表”，在左侧图表分类中选择“Handler”，查看“RegionServer处理用户表请求的活跃的handler数-所有实例”是否长时间占满，如果占满需要单
从纵向来看，每个shard内部有多个副本组成，保证分片数据的高可靠性，以及计算的高可靠性。 数据分布设计 Shard数据分片均匀分布 建议用户的数据均匀分布到集群中的多个shard分片，如图1所示有3个分片。 假如有30 GB数据需要写入到集群中，需要将30 GB数据均匀切分后分
ClickHouse加速TTL操作调优 ClickHouse触发TTL的时候，对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面，选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 >
email STRING); Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”，AK/SK可登录“OBS控制台”，进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret
email STRING); Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”，AK/SK可登录“OBS控制台”，进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret
要先在管理控制台上获取到集群ID。集群ID获取步骤如下： 登录MRS管理控制台。 选择“现有集群”，单击待操作集群的集群名称，进入集群详情页面。 选择“概览”页签，在基本信息区域获取“集群ID”。 图1 集群ID 获取作业ID 在调用作业相关接口的时候，部分URL中需要填入作业I
Bucket调优示例 创建Bucket索引表调优 Hudi表初始化 实时任务接入 离线Compaction配置 父主题： Hudi应用开发规范
保存路径 /opt/omm/oms/auditLog 指定SFTP服务器上保存审计日志的路径。 SFTP用户名 root 指定登录SFTP服务器的用户名。 SFTP密码 - 指定登录SFTP服务器的密码。 SFTP公共密钥 - 可选参数，指定SFTP服务器的公共密钥，建议配置SFTP的公共密钥，否则可能存在安全风险。
通过Manager参看Kafka服务是否处于正常状态，当前可用Broker是否小于设置的replication-factor。 检查客户端命令中ZooKeeper地址是否正确，访问ZooKeeper上所存放的Kafka信息，其路径（Znode）应该加上/kafka，发现配置中缺少/kafka。 [root@10-10-144-2
HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 HDFS Shell命令介绍 登录MRS Manager 下载MRS客户端 父主题： HDFS开发指南
各主机在网络上互通。 在本实践中，需要确保本地环境与MRS集群所在网络平面互通，通常可以通过绑定EIP的方式访问MRS集群，具体操作请参考配置Windows通过EIP访问集群HBase。 如果本地开发环境与MRS集群内节点网络不通，也可以将样例工程编译后，将jar包上传至集群内运行，具体操作可参考调测HBase应用。
”。 是，执行5。 否，执行7。 以root用户登录客户端，用户密码为安装前用户自定义，请咨询系统管理员。执行如下命令： cd 客户端安装目录 source bigdata_env 如为安全模式集群，请执行kinit hbase 登录HMaster WebUI，在导航栏选择“Procedure
创建CDL作业前准备 开启Kafka高可靠功能 登录CDLService WebUI界面 上传数据库驱动文件 创建CDL数据库连接 管理CDL ENV变量 配置源数据心跳表实现数据判齐功能 父主题： 使用CDL
器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。（服务器共享路径不能设置为根目录，且共享路径的用户组和属组必须为nobody:nobody）
t”、“Delete”、“Insert”。 单击“确定”保存。 单击“系统设置 > 用户管理 > 添加用户”，为样例工程创建一个用户。 填写用户名，例如test，用户类型为“机机”用户，加入用户组supergroup，设置其“主组”为supergroup，并绑定角色mrrole取得权限，单击“确定”。
业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否不合理（默认80%为合理值，用户可以根据自己的实际需求调节）。 是，执行2。 否，执行4。 根据实际服务的使用情况在“系统设置 > 阈值配置
业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否合理（默认80%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“系统设置 > 阈值配置
有一个该属性文件。 keytab文件 存放用户信息的密钥文件。在安全模式下，应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户，可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题： Oozie开发指南（普通模式）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
