检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行该步骤进行安全认证,否则跳过该步骤。 Kerberos认证配置 客户端配置。 在Flink配置文件“flink-conf.yaml”中,增加kerberos认证相关配置(主要在“contexts”项中增加“KafkaClient”),示例如下: security.kerberos.login.keytab:
表”是实时监控,每30秒刷新一次。 “图表”中的“租户CPU占用率平均值”的具体数值表示当前租户查询任务占用所有BE节点CPU资源的时间占比平均值。 由于排队设计不感知FE的个数,所以租户设置的并发数只在FE粒度生效,因此,“图表”中的“租户查询并发数总和”代表租户整体的并发情况。
进行认证。 Kerberos认证配置 客户端配置。 在Flink配置文件“flink-conf.yaml”中,增加kerberos认证相关配置(主要在“contexts”项中增加“KafkaClient”),示例如下: security.kerberos.login.keytab:
HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 将1导出的本地Jar包,4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包,请参见打包Strom应用业务。 执行命令提交拓扑。 storm jar /opt/jartarget/source
Doris数据查询规范 该章节主要介绍Doris数据查询时需遵循的规则和建议。 Doris数据查询规则 在数据查询业务代码中建议查询失败时进行重试,再次下发查询。 in中常量枚举值超过1000后,必须修改为子查询。 禁止使用REST API(Statement Execution
Storm-OBS开发指引 操作场景 本章节只适用于MRS产品中Storm和OBS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm已经安装,并正常运行。 将storm-examples导入到Eclipse开发环境,请参见导入并配置Storm样例工程。
DFS或者HBase中抽取数据,然后将数据通过JDBC接口插入到临时表(Staging Table)中。 在MapReduce作业的提交阶段,将数据从临时表迁移到正式表中。 数据导出到文件系统 在MapReduce作业的Map阶段,从HDFS或者HBase中抽取数据,然后将数据写入到文件服务器临时目录中。
Hadoop中input的路径。 output 存储output的路径。如没有规定,WebHCat将output储存在使用队列资源可以发现到的路径。 mapper mapper程序位置。 reducer reducer程序位置。 files HDFS文件添加到分布式缓存中。 arg
registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如果工程中存在未被序列化的类,则会发生异常。如果设置为false(默认值),Kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为true时,用户需手动注册类,针对未序列化的类,
registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如果工程中存在未被序列化的类,则会抛出异常。如果设置为false(默认值),Kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为true时,用户需手动注册类,针对未序列化的类,
API使用样例 功能介绍 下面代码片段在com.huawei.bigdata.kafka.example.SimpleConsumerDemo类中,用于实现使用新SimpleConsumer API订阅Topic,并进行消息消费。(注意:SimpleConsumer API仅支持访问未
registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如果工程中存在未被序列化的类,则会发生异常。如果设置为false(默认值),Kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为true时,用户需手动注册类,针对未序列化的类,
写Hudi表task并行度,默认值为4。 4 index.bootstrap.enabled 选填 Flink采用的是内存索引,需要将数据的主键缓存到内存中,保证目标表的数据唯一,因此需要配置该值,否则会导致数据重复。默认值为FALSE。Bueckt索引时不配置该参数。 TRUE write.index_bootstrap
source算子的代码,该段代码每发送10000条数据休息1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。 import org.apache.flink.api.java.tuple.Tuple4;
Hadoop中input的路径。 output 存储output的路径。如没有规定,WebHCat将output储存在使用队列资源可以发现到的路径。 mapper mapper程序位置。 reducer reducer程序位置。 files HDFS文件添加到分布式缓存中。 arg
Hadoop中input的路径。 output 存储output的路径。如没有规定,WebHCat将output储存在使用队列资源可以发现到的路径。 mapper mapper程序位置。 reducer reducer程序位置。 files HDFS文件添加到分布式缓存中。 arg
MRS 1.7.1.2 修复问题列表: MRS Manager MRS Manager单击审计日志详细信息下载报错。 MRS Manager界面中主机列表下的磁盘使用率计算优化。 MRS 1.7.1.1 修复问题列表: Kafka组件问题 KAFKA-5413 Kafka日志清理失败:
Hadoop中input的路径。 output 存储output的路径。如没有规定,WebHCat将output储存在使用队列资源可以发现到的路径。 mapper mapper程序位置。 reducer reducer程序位置。 files HDFS文件添加到分布式缓存中。 arg
sh脚本下载并刷新客户端配置文件。 客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置,如需刷新为其他集群的配置文件,请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。 父主题: 管理MRS集群客户端
source算子的代码,该段代码每发送10000条数据休息1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。 import org.apache.flink.api.java.tuple.Tuple4;