检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待第一个数据块的第一个字节的时间，单位：毫秒。 250 大于等于1 dfs.client.hedged.read.threadpool.size 多路读取线程池的大小，设置参数值大于0时启用多路读功能。 200 大于等于0 由于HDFS多路读功能在磁盘IO负载高的情况下可能导致性
如果是SQL操作，执行SQL前需要执行： set hoodie.schema.evolution.enable=true 如果是API操作，DataFrame options里面需要指定： hoodie.schema.evolution.enable -> true 父主题： Hudi Schema演进
目录下的样例工程，可根据实际业务场景选择对应的样例，相关样例介绍请参见HBase应用开发样例工程介绍。 若需要在本地Windows调测HBase样例代码，需参考表1放置各样例项目所需的配置文件、认证文件： 表1 放置各样例项目所需的配置文件/认证文件 样例工程位置 需放置的配置/认证文件
开启后，上述场景处理方式如下。 若Spark Streaming应用在运行应用时Kafka上topic的offset变小，则会将Kafka上topic最新的offset作为读取Kafka数据的起始位置，继续读取后续的数据。 对于已经生成但未调度处理的任务，若读取的Kafka of
1.0.7补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2
FlinkServer REST API样例程序 FlinkServer REST API样例程序开发思路 FlinkServer REST API样例程序（Java） 使用代理用户访问FlinkServer REST API样例程序（Java） 父主题： 开发Flink应用
pool 获取NodeManager的监控的大作业的信息的线程数。 50 max.job.count 事件中显示大作业的数量。 10 job.monitor.local.dir.threshold 监控NodeManager本地磁盘作业目录的大小，超过当前阈值就会上报事件。 单位：GB。
后执行5。 在“OBS路径”填写服务日志在OBS保存的路径。 需要填写完整路径且不能以“/”开头，路径可以不存在，系统将自动创建。OBS的完整路径最大支持900个字节。 在“桶名”输入已创建的OBS文件系统名称。 在“AK”和“SK”输入用户的Access Key ID和Secret
Hive作业 使用JDBC方式连接的Hive作业。 Hive2作业 使用Beeline方式连接的Hive作业。 本文以使用Oozie客户端提交Hive作业为例介绍。 使用Oozie客户端提交Hive2作业与提交Hive作业操作步骤一致，只需将操作步骤中对应路径的“/Hive”改成“/Hive2”即可。
Hive作业 使用JDBC方式连接的Hive作业。 Hive2作业 使用Beeline方式连接的Hive作业。 本文以使用Oozie客户端提交Hive作业为例介绍。 使用Oozie客户端提交Hive2作业与提交Hive作业操作步骤一致，只需将操作步骤中对应路径的“/Hive”改成“/Hive2”即可。
如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 备份CDL业务数据 在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。
访问Tez WebUI查看任务执行结果 Tez提供Tez任务执行过程图形化展示功能，使用户可以通过界面的方式查看Tez任务执行细节。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装Yarn服务的TimelineServer实例。 使用介绍 登录Manager系统，具体请参见访问FusionInsight
s文件丢失或损坏，如何恢复 问题 开启TableStatus多版本特性下，最新的tablestatus文件丢失或其他异常原因损坏的情况下，如何恢复？ 回答 使用当前可得的最近的tablestatus文件进行恢复，分为如下两个场景来进行恢复： 场景一：当前批次的CarbonData数据文件和
defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 备份HBase元数据 在FusionInsight
0-LTS.1.8版本补丁说明。 检查集群是否是使用密钥创建的集群 检查集群是否是使用密钥创建的集群。 是，需要先给集群安装MRS_3.2.0-LTS.1.9_RootPatch_20240605.tar.gz补丁，以支持密钥方式的root补丁特性。 软件包获取地址： 华东-上海一：h
Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
提供了一个MapReduce统计数据的应用开发示例，通过类CollectionMapper实现数据分析、处理，并输出满足用户需要的数据信息。 相关样例介绍请参见MapReduce统计样例程序。 MapReduce作业访问多组件的应用开发示例： 以MapReduce访问HDFS、HBase、H
原因分析：MergeTree的merge的速度跟不上目录生成的速度，数据目录越来越多就会抛出这个异常。 建议 一次只插入一个分区内的数据 如果数据属于不同的分区，则每次插入，不同分区的数据会独立生成part文件，导致part总数量膨胀，建议一批插入的数据属于同一个分区。 写入速率
使用hcatalog方式同步hive parquet表报错 问题 同步hive parquet表，其分区字段为非string类型，无法正常使用hive import导入，只能考虑使用hcatalog方式，但是hcatalog方式报错如下： 回答 修改sqoop源码SqoopHCa
int：Spark表的字段名和字段类型。 table1：HBase表名。 id：HBase表的rowkey列名。 name=cf1.cq1, age=cf1.cq2：spark表的列和HBase表的列的映射关系。spark的name列映射HBase表的cf1列簇的cq1列，spark的age列
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
