检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AL机制,对可重放的sources,以及支持重复处理的幂等性sinks,可以提供端到端的exactly-once容错语义。 用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。 从checkpoint
当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件,而不是写log。 分区设置操作 Hudi支持多种分区方式,如多级分区、无分区、单分区、时间日期分区。用户可以根据实际需求选择合适的分区方式,接下来将详细介绍Hudi如何配置各种分区类型。
“false”。 authentication.user 普通模式或者使用密码认证方式时,登录使用的用户。 keytab登录方式,则不需要设置该参数。 authentication.password 安全模式中若不使用keytab认证,配置访问Loader服务的用户密码加密字符串。
操作”列,单击“缩容”,进入缩容集群页面。 只有运行中的集群且集群中的节点都在运行中才能进行该操作。 “缩容类型”选择“指定数量缩容”。 设置“缩容节点数量”,并单击“确定”。 缩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。
在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“NameNode”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
隔的一行数据。 kafka_row_delimiter 每个消息体(记录)之间的分隔符。 kafka_handle_error_mode 设置为stream,会把每条消息处理的异常打印出来。需要创建视图,通过视图查询异常数据的具体处理异常。 创建视图语句,示例如下: CREATE
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
在管理控制台选择页面上方的“费用 > 费用账单”,进入费用中心后,在“账单管理 > 流水和账单明细”的“明细账单”中可以通过多维度展示客户账单的详细信息。一般通过设置统计维度为“按使用量”,统计周期为“按账期”来统计资源在某个月份的总开销,建议您核对表2所示的信息是否和实际相符。 表2 MRS集群明细账单
角色名称:填写角色的名称,例如testrole。 配置资源权限:在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB > 普通用户权限”,勾选root根目录的“设置数据库”权限;再单击“root”,选择对应的存储组,勾选“创建”、“修改”、“写”、“读”权限。 选择“用户 > 添加用户”,在新增用户界
static_log_channel.type = file client.channels.static_log_channel.dataDirs = 数据缓存路径,设置多个路径可提升性能,中间用逗号分开 client.channels.static_log_channel.checkpointDir = 检查点存放路径
MERGE_ON_READ MERGE_ON_READ Hudi表属性配置-Hudi TableName Mapping Hudi表名称,如果不设置,则默认与源表名相同。 - Hudi表属性配置-Hive TableName Mapping Hudi表同步到Hive的表名映射关系,自定义表名。
在组件列表中单击服务指定名称。 单击“实例”,查看组件内的各角色实例状态。 支持在列表右上角筛选相同角色的全部实例。单击“高级搜索”,在角色搜索区域中设置搜索条件,单击“搜索”,查看指定的角色信息。单击“重置”清除输入的搜索条件。支持模糊搜索条件的部分字符。 单击列表中指定角色实例名称,查看角色实例状态及指标信息。
可以通过调整客户端参数dfs.client.block.write.locateFollowingBlock.retries的值来增加retry的次数,可以将值设置为6,那么中间睡眠等待的时间为400ms、800ms、1600ms、3200ms、6400ms、12800ms,也就是说close函数最多要50
static_log_channel.type = file client.channels.static_log_channel.dataDirs = 数据缓存路径,设置多个路径可提升性能,中间用逗号分开 client.channels.static_log_channel.checkpointDir = 检查点存放路径
e/omm/doris_keytab”目录下,并执行chown omm:wheel /home/omm/doris_keytab -R命令设置“doris.keytab”文件属组。 Hive与Doris非同集群部署时,要从Hive集群拷贝hive.keytab文件到DBroker实例对应目录下。
decimal-mapping 默认情况下HetuEngine会跳过未指定精度或超过最大精度38位的Decimal/Number/Numeric数据类型,通过设置“decimal-mapping=allow_overflow”,将其映射为Decimal(38,x)数据类型,x值为decimal-default-scale的值
顺序选择,同时考虑用户资源量的限制和内存限制。Capacity Scheduler主要有如下特性: 容量保证。MRS集群管理员可为每个队列设置资源最低保证和资源使用上限,而所有提交到队列的应用程序共享这些资源。 灵活性。如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列
JDBC的Web UI端口 该端口用于:Web请求与JDBC Server Web UI服务器进行HTTPS/HTTP通信。 说明: 系统会根据端口的设置取值,并验证其有效性;如果无效,端口+1,直到取到有效值为止(上限16次,重试次数可以通过配置spark.port.maxRetries改变)。
hbase-rest-example HBase Rest接口应用开发示例。 使用Rest接口实现查询HBase集群信息、获取表、操作NameSpace、操作表等功能。 hbase-thrift-example 访问HBase ThriftServer应用开发示例。 访问Thrift
报的故障磁盘信息。 更换硬盘。 检查告警是否清除。 是,操作结束。 否,执行21。 收集故障信息 在MRS Manager界面,选择“系统设置 > 日志导出” 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 相关参数获取方法如下: