检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
y cookie方式进行认证。 表1 安全认证方式 安全认证方式 说明 配置方法 Kerberos认证 当前只支持keytab认证方式。 从FusionInsight Manager下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下。 在“flink-conf
gt_v2.1_20230322.tar.gz 优化HDFS慢盘隔离动作,从reconfig改成重启DataNode。 解决的问题 安装MRS 3.1.0.0.6补丁后,慢盘恢复后yarn没有将隔离磁盘从黑名单剔除,导致后续任务提交不到新磁盘上。 当慢盘隔离失败后,恢复故障后,手
跃状态,当活跃状态的Sink故障时,根据优先级从非活跃状态的Sink中选择一个来接管业务,保证数据不会丢失,多用于高可靠性场景。 Load Balancing:表示在Sink Group中所有Sink都处于活跃状态,每个Sink都会从Channel中去获取数据并进行处理,并且保证在运行过程中该Sink
在用户意外修改、删除或需要找回数据时,系统管理员对HBase进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任
用于描述一行数据中不同的字段。 Column可以分为两大类:Key和Value。从业务角度看,Key和Value可以分别对应维度列和指标列。从聚合模型的角度来说,Key列相同的行,会聚合成一行。其中Value列的聚合方式由用户在建表时指定。 Tablet&Partition 在Do
关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性,将那些需进行关联操作的文件存放在相同数据节点上,在进行关联操作计算时避免了到别的数据节点上获取数据,大大降低网络带宽的占用。 在使用Colocation功能之前,建议用户对Colocation的内部机制有一定了解,包括:
关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性,将那些需进行关联操作的文件存放在相同数据节点上,在进行关联操作计算时避免了到别的数据节点上获取数据,大大降低网络带宽的占用。 在使用Colocation功能之前,建议用户对Colocation的内部机制有一定了解,包括:
CheckPoint CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某
关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性,将那些需进行关联操作的文件存放在相同数据节点上,在进行关联操作计算时避免了到别的数据节点上获取数据,大大降低网络带宽的占用。 在使用Colocation功能之前,建议用户对Colocation的内部机制有一定了解,包括:
a、Hive、HBase、Spark、Presto以及相关依赖服务。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 1.9.3.8打补丁升级到MRS 1.9.3.9,需要重启MRS 1.9.3.9补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。
CheckPoint CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某
关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性,将那些需进行关联操作的文件存放在相同数据节点上,在进行关联操作计算时避免了到别的数据节点上获取数据,大大降低网络带宽的占用。 在使用Colocation功能之前,建议用户对Colocation的内部机制有一定了解,包括:
nix-core包和“htrace-core-3.1.0-incubating.jar”包拷贝到“/opt/client/HBase/hbase/lib”下。 将2中生成的Jar包和从3.2.2-准备开发用户中获取的krb5.conf和user.keytab文件拷贝上传至客户端运
如果指定,默认情况下使用垂直格式输出结果。在这种格式中,每个值都在单独的行上打印,适用显示宽表的场景。 --time 如果指定,非交互模式下会打印查询执行的时间到stderr中。 --stacktrace 如果指定,如果出现异常,会打印堆栈跟踪信息。 --config-file 配置文件的名称。 --secure
Loader是在开源Sqoop组件的基础上进行了一些扩展,实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”,同时也可以将数据从关系型数据库或者文件服务器导入到MRS的HDFS/HBase中,或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader基本原理 从零开始使用Loader
checkpoint=s1,0:0,1:0 // 任务启动时,该source的恢复点(从0分区的0 offset,1分区的0 offset开始恢复) // 指定与source1表进行join的hudi表,如果该hudi表已经同步到hive,则不需要该配置,直接在sql中通过表名来使用 hoodie
登录Hudi数据源所在集群的FusionInsight Manager页面。 在“主页”右上方单击“下载客户端”,根据界面提示下载“完整客户端”文件到本地。 将下载的客户端文件压缩包解压,获取“FusionInsight_Cluster_1_Services_ClientConfig/HD
下,便于管理审计日志信息。 审计日志导出到OBS服务器的内容包含两部分,服务审计日志和管理审计日志。 服务审计日志每天凌晨3点自动压缩存储到主管理节点“/var/log/Bigdata/audit/bk/”,保存的文件名格式为<yyyy-MM-dd_HH-mm-ss>.tar.g
Jar包编译成功后,可以从1.c中配置的路径下获取到“flink-demo.jar”文件。 安装并配置Flink客户端。 安装MRS集群客户端,例如客户端安装目录为“/opt/hadoopclient”。 将准备集群配置文件中下载的认证凭据压缩包解压缩,并将得到的文件复制到客户端节点中,例
log中出现如下类似日志时,表示Jar包生成成功。您可以从1.c中配置的路径下获取到Jar包。 21:25:43 Compilation completed successfully in 36 sec 将2中生成的Jar包(如FlinkStreamJavaExample.jar)复制到Linux环境的Flin