检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
取值范围： 不涉及 默认取值： 不涉及 表3 Tag 参数 是否必选 参数类型 描述 key 是 String 参数解释： 标签的键。 约束限制： 不涉及 取值范围： 最大长度128个字符，不能为空字符串。 同一资源的key值不能重复。 标签的key值可以包含任意语种字母、数字、空格和_
添加集群到KafkaManager的WebUI界面 更新集群参数 删除KafkaManager的WebUI界面的集群 添加集群到KafkaManager的WebUI界面 首次创建Kafka集群后会在KafkaManager的WebUI界面创建名为my-cluster的默认Kafka集群，用户
anager在作业完成后，将此参数作为查看作业历史信息的跳转地址保存在RMStateStore中。 JobHistoryServer服务地址变更后，需要将新的服务地址及时更新到MapReduce客户端配置文件中，否则，新运行的作业在查看作业历史信息时，仍然会指向原JobHisto
个方面。 查看ZooKeeper中znode的ACL。 增加ZooKeeper中znode的ACL。 修改ZooKeeper中znode的ACL。 删除ZooKeeper中znode的ACL。 ZooKeeper的ACL权限说明： ZooKeeper目前支持create，dele
（可选）单击“+”按钮展开更多选项，选择已创建的ENV，默认为“defaultEnv”。 单击“确定”，完成Hudi作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观
该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“HiveServer2 脚本”按钮，将其拖到操作区中。 在弹出的“HiveServer2 Script”窗口中配置HDFS上的脚本路径，例如“/user/a
该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“HiveServer2 脚本”按钮，将其拖到操作区中。 在弹出的“HiveServer2 Script”窗口中配置HDFS上的脚本路径，例如“/user/a
如果“/system/balancer.id”文件的释放时间超过了软租期60s，则第二次执行Balance操作的客户端的append操作会抢占租约，此时最后一个block处于under construction或者under recovery状态，会触发block的恢复操作，那么“/system/balancer
要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待操作的服务名称”，单击右上角的“更多”，选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样，详情见如下表格。
当在CarbonData表中配置了较小的blocksize，而加载的数据生成的数据文件比较大时，在HDFS上显示的blocksize会与设置值不同。这是因为，对于每一个本地block文件的首次写入，即使待写入数据的大小大于blocksize的配置值，也直接将待写入数据写入此blo
个方面。 查看ZooKeeper中znode的ACL。 增加ZooKeeper中znode的ACL。 修改ZooKeeper中znode的ACL。 删除ZooKeeper中znode的ACL。 ZooKeeper的ACL权限说明： ZooKeeper目前支持create，dele
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver
如A表字段（P1，A1，A2）使用如下方式关联B表字段（P1，B1，B2，B3）生成C的场景中，B表信息发生大量更新，但是B中的所需字段没有更新，在该关联中仅用到了B表的B1和B2字段，对于B表，每个记录更新只更新B3字段，B1和B2不更新，因此当B表更新，可以忽略更新后的数据。 select A.A1,B.B1
Config - （可选）选择已创建的ENV，默认为“defaultEnv”。 单击“确定”，完成Hudi作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观
单击“+”按钮展开更多选项。 "Start Time" ：同步表起始时间。 “WhiteList”：输入数据库中的表。 “BlackList”: 输入不抓取数据的数据库中的表。 “Topic Table Mapping”： 如果“Connect With Hudi”选择“是”，则该参数为必填项。 第一个框输入表名（例如“test”）。
（可选）单击“+”按钮展开更多选项，选择已创建的ENV，默认为“defaultEnv”。 单击“确定”，完成Hudi作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观
ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。
停止执行并报错，已转移的文件导入成功，同名的文件及未转移的文档导入失败。 OVERRIDE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000，建议以SFTP服务器的CPU的核数作为其取值。 说明：
afka的监控指标“未完全同步的Partition总数”进行查看。 Kafka滚动重启过程中，建议设置客户端Producer的配置参数“acks”的值为“-1”（配置方式和其他Producer配置参数的配置方式一致），否则在逐个重启Broker实例的瞬间有丢失少量数据的风险。设置
Join数据倾斜问题 执行任务的时候，任务进度长时间维持在99%，这种现象叫数据倾斜。 数据倾斜是经常存在的，因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大，导致大部分Reduce都已完成任务，但少量Reduce任务还没完成的情况。 解决数据倾斜的问题，可通过设置“set
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
