检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rpc.protection”配置项的值保持一致。 远端备份至HDFS，不支持HDFS加密目录。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。
DataArts支持通过Spark JDBC方式和Spark API方式操作Hudi表： Spark JDBC方式使用公用资源，不用单独起Spark作业，但是不能指定执行SQL所需要的资源以及配置参数，因此建议用来做建表操作或小数据量的查询操作。 Spark API方式执行的SQL独立起Spark
每个计划可定义一个时间触发器，用于定时触发执行一个指定的Workflow。不支持多个Workflow。 每个Bundles可定义一个集合，用于触发执行多个计划，使不同Workflow批量执行。 父主题： 使用Hue WebUI典型场景
保留期到期后，若您仍未支付账户欠款，那么集群将终止服务，系统中的数据也将被永久删除。 图1 按需计费MRS集群生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值，详细操作请参见账户充值。 若MRS集群不再使用，您可以将该集群删除，以免继续扣费。
工程。 准备Maven和JDK 准备运行环境 Kafka的样例程序运行环境即MRS服务所VPC集群的节点。 - 准备工程 Kafka提供了不同场景下的样例程序，您可以下载样例工程进行程序学习。或者您可以根据指导，新建一个Kafka工程。 导入并配置Kafka样例工程 根据场景开发工程
JDK，请确保IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。
若使用Oracle JDK，请确保IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。
若使用Oracle JDK，请确保IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。
数据比对任务不支持数据表字段名包含数据库关键字的表进行数据比对。 数据比对任务单表比较仅支持100个以内的字段进行比较， 如果单表的字段超过一百， 可以分两次指定不同的比较字段的白名单进行数据比对。 当前只支持对从PgSQL抓取到Hudi的数据进行比对，如果“比较结果”为“不一致”，不一致的数据需小于或
些？ MRS集群如何解绑已绑定至Manager的EIP？ 如何关闭MRS集群内节点的防火墙服务？ MRS集群内节点的登录方式如何切换？ 如何通过集群外的节点访问MRS集群？ MRS集群中Kafka Topic监控是否支持发送告警？ 产生Yarn队列资源不足告警时正在运行的资源队列如何查看？
orkspace/data”。 第一次转存告警时自动生成目录。 操作视频 本视频将分别为您介绍查看告警和事件信息及配置告警阈值的操作。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 通过管理控制台查看与清除告警 登录MRS管理控制台。 选择“现有集群”，选
导入配置文件时，建议配置source/channel/sink的各自的个数都不要超过40个，否则可能导致界面响应时间过长。 不同的File Channel均需要配置一个不同的checkpoint目录。 表2 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl
通过JDBC方式实现查询HetuEngine SQL任务 功能简介 通过JDBC连接方式，使用用户名和密码连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，并能查询对应的SQL语句执行进度和状态。 import io.XXX.jdbc.XXXResultSet;
r包的具体版本信息请以实际情况为准。 安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致，票据登录方式为开源提供的能力，后期需要人工上传票据，存在可靠性和易用性问题，因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HDFS组件已经安装，并正常运行。
Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。 图1 Presto架构 Presto分布式地运行在一个集群中，包含一个Coordinator和多个Wor
化，以便在Hudi中进行数据的读取和写入。总之，Hudi Payload是Hudi的一个重要组成部分，它提供了一种可靠的、高效的、可扩展的方式来管理大规模数据湖中的数据变更。 常用Payload DefaultHoodieRecordPayload Hudi中默认使用Defaul
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topi
BC连接。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下： 在执行“DriverManager.getConnection”方法获取JDBC连接前，添加“DriverManager.setL
集群节点内安装了原生Kerberos导致登录集群失败 问题现象 MRS集群创建成功后，登录集群Manager页面或者修改用户密码失败。 原因分析 登录到集群的Kerberos服务节点，查看“/var/log/Bigdata/kerberos/krb5kdc.log”。 登录到主、
权限，具体配置请参考添加HDFS的Ranger访问权限策略。 在Ranger上为用户添加Spark SQL的访问策略后，需要在HDFS的访问策略中添加相应的路径访问策略，否则无法访问数据文件，具体请参考添加HDFS的Ranger访问权限策略。 Ranger策略中global策略仅用于联合Temprorary
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
