检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi表必须执行Clean。 对于Hudi的MOR、COW表,都需要开启Clean。 Hudi表在写入数据时会自动判断是否需要执行Clean,因为Clean的开关默认打开(hoodie.clean.automatic默认为true)。 Clean操作并不是每次写数据时都会触发,至少需要满足两个条件: Hud
的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前Loader实例设置直接内存大小无法满足当前业务使用场景,建议打开实例监控界面,在页面上调出“Loader直接内存资源状况”监控图表,观察该监控图表中“Loader使用的直接内存大小”的变化趋势,根据当前
Topic需提前创建,用户可以输入指定的内容作为生产者产生的消息,输入完成后按回车发送消息。如果需要结束产生消息,使用“Ctrl + C”退出任务。 消费主题中的消息 重新打开一个客户端连接,执行以下命令消费主题中的消息。 cd /opt/client/Kafka/kafka/bin source /opt/client/bigdata_env
x及之后版本) 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 恢复管理 > 创建”。 设置“任务名称”。 设置“恢复对象”为“OMS”或需要恢复数据的集群。 在“恢复配置”指定需要恢复的数据。 支持恢复元数据和业务数据。 各组件不同数据的恢复任务操作请参考备份恢复MRS集群数据。
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户,例如developuser,并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限,HDFS访
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户,例如developuser,并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限,HDFS访
阈值,如图2所示。 图2 设置告警阈值 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查CPU使用率是否达到上限。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的节点地址。 进入“主机”界面,单击告警的所在节点。
告警阈值。 如图1所示: 图1 设置告警阈值 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 检查网口速率是否满足需求。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机地址及网口。 以root用户登录告警
STARTUP_MSG: 以上日志说明,DataNode先被其他进程关闭,然后健康检查失败,2分钟后,被NodeAgent启动DataNode进程。 处理步骤 打开操作系统审计日志,给审计日志增加记录kill命令的规则,即可定位是何进程发送的命令。 操作影响 打印审计日志,会消耗一定操作系统性能,经过分析仅影响不到1%。
<priority>可以设置为: VERY_HIGH HIGH NORMAL LOW VERY_LOW API接口。 用户也可以使用API配置对象的优先级。 设置优先级,可通过Configuration.set("mapreduce.job.priority", <priority>)或Job
<priority>可以设置为: VERY_HIGH HIGH NORMAL LOW VERY_LOW API接口。 用户也可以使用API配置对象的优先级。 设置优先级,可通过Configuration.set("mapreduce.job.priority", <priority>)或Job
单击左侧列表中的可在数据库中根据上传的文件创建一个新表,也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作
15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] } ], "sqls" : [ { "id" : 0
15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] } ], "sqls" : [ { "id" : 0
在Windows中调测Hive JDBC应用 JDBC客户端的命令行形式运行 运行样例。 依照准备Hive JDBC开发环境中导入和修改样例后,并从集群的任一Master节点的路径“/opt/client/Hive/config/hiveclient.properties”下获取“hiveclient
server.access.label.agency.name visit_obs_agency 指定IAM委托的名字,需要具有访问OBS的权限。 即创建对接OBS权限的委托创建的委托名称。 fs.obs.delegation.token.providers com.huawei
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian服务不可用时,业务无法正常访问OBS。 可能原因 Guardian服务所依赖内部服务HDFS故障。 TokenServer角色实例异常。 处理步骤 检查HDFS服务状态。 在FusionInsight
提升HBase BulkLoad工具批量加载效率 操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。
15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] } ], "sqls" : [ { "id" : 0
的恢复点。 在“队列名称”填写任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 在“数据配置”选择需要恢复的对象。 单击“校验”,界面显示“校验恢复任务配置成功”。 单击“确定”。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。