如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写
Hudi Payload操作说明 本章节仅适用于MRS 3.3.0及之后版本。 Payload介绍 Payload是Hudi实现数据增量更新和删除的关键，它可以帮助Hudi在数据湖中高效的管理数据变更。Hudi Payload的格式是基于Apache Avro的，它使用了Avro
配置Hudi通过Guardian访问OBS 参考配置Guardian服务启用Ranger鉴权完成Guardian对接OBS后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配
流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
e频繁进行flush、compact、split操作需要消耗较大的CPU和网络资源，并且RegionServer压力也比较大。 本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用BulkLoad方式向HBase中批量导入本地数据，在首次数据加载时，能极大的提高写入效率，并降低对Region
获取AK/SK和Endpoint信息 使用AK/SK方式对接OBS前，需参考以下操作获取对接OBS的AK、SK和Endpoint信息。 获取AK/SK 登录华为云管理控制台，在“控制台”页面，鼠标移动至右上方的用户名，在下拉列表中选择“我的凭证”。 单击“访问密钥”页签，您可以在访问密钥列表中查看访问密钥ID（AK），在下载的
流式写入Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：
勾选“我已经阅读上述信息，并了解具体影响。”并单击“确定”。 单击“组件管理”观察各个组件是否存在异常，若存在异常等待5~10分钟后再次观察组件，依然存在异常则联系华为云技术支持处理。 单击“告警管理”观察是否存在异常告警，若存在请清除告警后再进行其他操作。 父主题： MRS集群容量调整
IoTDB性能调优 配置场景 IoTDB主要利用堆内存完成读写操作。提高IoTDB内存可以有效提高IoTDB读写性能。 配置描述 登录集群FusionInsight Manager页面，选择“集群 > 服务 > IoTDB > 配置 > 全部配置”，进入IoTDB配置界面搜索并修改参数。
ALM-14026 DataNode块数超过阈值 告警解释 系统每30秒周期性检测每个DataNode上的块数，当检测到当前的DataNode节点上块数超过阈值时产生该告警。 如果平滑次数为1，DataNode节点上的块数小于或等于阈值时，告警恢复；如果平滑次数大于1，DataN
相关操作可参考配置跨Manager集群互信。 Hive表操作 如果需使用Doris读取Hive存储在OBS中的数据，需执行以下操作。 登录华为云管理控制台，在“控制台”页面，鼠标移动至右上方的用户名，在下拉列表中选择“我的凭证”。 单击“访问密钥”页签，单击“新增访问密钥”，输入
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource
个人私有化数据，避免慢盘隔离时对业务造成影响； 自动触发慢盘隔离动作后，对于原来写两副本数据存在单副本运行的场景，存在一定风险，请知；同时华为侧运维人员会尽快对慢盘进行替换； 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点，此时该节点会变成隔离状态，客户
CarbonData常见配置参数 本章节介绍CarbonData所有配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端：登录FusionInsight Manager页面，选择“集群 > 服务
CarbonData常见配置参数 本章节介绍CarbonData所有常用参数配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端：登录FusionInsight Manager页面，选择“集群
Flink常用配置参数 配置文件说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/F
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
