检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AL机制，对可重放的sources，以及支持重复处理的幂等性sinks，可以提供端到端的exactly-once容错语义。 用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。 从checkpoint
登录备集群的FusionInsight Manager。 选择“集群 > 服务 > HDFS”，选择“更多 > 下载客户端”。“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”。 等
rmats/。 kafka_row_delimiter 每个消息体（记录）之间的分隔符。 kafka_handle_error_mode 设置为stream，会把每条消息处理的异常打印出来。需要创建视图，通过视图查询异常数据的具体处理异常。 创建视图语句，示例如下： CREATE
job_name 是 String 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明： 不同作业的名称允许相同，但不建议设置相同。 cluster_id 是 String 集群ID。 jar_path 否 String 执行程序Jar包或sql文件地址，需要满足如下要求：
1：安全集群，表示Kerberos认证开启，普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能，并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能，需要找MRS Manager的管理员分配权限。 默认取值： 不涉及 cluster_type
自定义自动化脚本执行失败后，是否继续执行后续脚本和创建集群。建议您在调试阶段设置为“continue”，无论此自定义自动化脚本是否执行成功，则集群都能继续安装和启动。由于缩容成功无法回滚，因此缩容后执行的脚本“fail_action”必须设置为“continue”。 约束限制： 不涉及 取值范围： continue：继续执行后续脚本。
操作”列，单击“缩容”，进入缩容集群页面。 只有运行中的集群且集群中的节点都在运行中才能进行该操作。 “缩容类型”选择“指定数量缩容”。 设置“缩容节点数量”，并单击“确定”。 缩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。
在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“NameNode”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选如下节点信息，单击“确定”。 NodeAgent Controller OS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
学习，即可快速地进行业务开发。 功能丰富：CQL除了包含标准SQL的各类基本表达式等功能之外，还特别针对流处理场景增加了窗口、过滤、并发度设置等功能。 易于扩展：CQL提供了拓展接口，以支持日益复杂的业务场景，用户可以自定义输入、输出、序列化、反序列化等功能来满足特定的业务场景
当update的数据对应的base文件是小文件时，insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件，而不是写log。 分区设置操作 Hudi支持多种分区方式，如多级分区、无分区、单分区、时间日期分区。用户可以根据实际需求选择合适的分区方式，接下来将详细介绍Hudi如何配置各种分区类型。
FileOutputFormat.setOutputPath(job, new Path(baseDir, OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
在管理控制台选择页面上方的“费用 > 费用账单”，进入费用中心后，在“账单管理 > 流水和账单明细”的“明细账单”中可以通过多维度展示客户账单的详细信息。一般通过设置统计维度为“按使用量”，统计周期为“按账期”来统计资源在某个月份的总开销，建议您核对表2所示的信息是否和实际相符。 表2 MRS集群明细账单
source bigdata_env 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka
FileOutputFormat.setOutputPath(job, new Path(baseDir, OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text
static_log_channel.type = file client.channels.static_log_channel.dataDirs = 数据缓存路径，设置多个路径可提升性能，中间用逗号分开 client.channels.static_log_channel.checkpointDir = 检查点存放路径
JDBC的Web UI端口 该端口用于：Web请求与JDBC Server Web UI服务器进行HTTPS/HTTP通信。 说明： 系统会根据端口的设置取值，并验证其有效性；如果无效，端口+1，直到取到有效值为止（上限16次，重试次数可以通过配置spark.port.maxRetries改变）。
在组件列表中单击服务指定名称。 单击“实例”，查看组件内的各角色实例状态。 支持在列表右上角筛选相同角色的全部实例。单击“高级搜索”，在角色搜索区域中设置搜索条件，单击“搜索”，查看指定的角色信息。单击“重置”清除输入的搜索条件。支持模糊搜索条件的部分字符。 单击列表中指定角色实例名称，查看角色实例状态及指标信息。
可以通过调整客户端参数dfs.client.block.write.locateFollowingBlock.retries的值来增加retry的次数，可以将值设置为6，那么中间睡眠等待的时间为400ms、800ms、1600ms、3200ms、6400ms、12800ms，也就是说close函数最多要50
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
