检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。
用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。
用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。
“输出文件的路径”为OBS上存放作业输出文件地址,请设置为一个不存在的目录。 父主题: 运行MRS作业
可以默认,也可以设置。 <windowTime> 指窗口时间大小,以分钟为单位。可以默认,也可以设置。 运行向Kafka生产并消费数据样例程序(Scala和Java语言)。 生产数据的执行命令启动程序。
cd {客户端安装目录} 执行以下命令并按照提示输入MRS Manager有下载权限的用户名和密码(例如,用户名为admin,密码为创建集群时设置的密码),更新客户端配置。
yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath> 此命令包含了设置参数和提交job的操作,其中<inputPath>指
Zookeeper连接会话超时时间 15000 可以适当调大上述三个参数,可以参考如下数值: zookeeper.session.timeout.ms = 45000 rebalance.max.retries = 10 rebalance.backoff.ms = 5000 参数设置应遵循
keytab登录方式,则不需要设置该参数。 authentication.password 安全模式中如果不使用keytab认证,配置访问Loader服务的用户密码加密字符串。 说明: 使用安装客户端的用户执行以下命令加密密码。
NodeAgent Controller OS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。
选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
keytab登录方式,则不需要设置该参数。 authentication.password 安全模式中若不使用keytab认证,配置访问Loader服务的用户密码加密字符串。 说明: 使用安装客户端的用户执行以下命令加密密码。
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath> 此命令包含了设置参数和提交job的操作,其中<inputPath>指
“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”。 等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
ZooKeeper HDFS HBase 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。
分区设置操作 Hudi支持多种分区方式,如多级分区、无分区、单分区、时间日期分区。用户可以根据实际需求选择合适的分区方式,接下来将详细介绍Hudi如何配置各种分区类型。
功能丰富:CQL除了包含标准SQL的各类基本表达式等功能之外,还特别针对流处理场景增加了窗口、过滤、并发度设置等功能。
client.sources.static_log_source.deletePolicy = never client.channels.static_log_channel.type = file client.channels.static_log_channel.dataDirs = 数据缓存路径,设置多个路径可提升性能
***********"); // 构造执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度