检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
failnodes=true 运行Oozie任务: oozie job -oozie https://oozie角色的主机名:21003/oozie/ -config job.properties -run “21003”为Oozie HTTPS请求的运行端口,可在FusionInsight Manager,选择“集群
示例中的IP为WebHCat所在节点的业务IP,端口为安装时设置的WebHCat端口。 示例中的协议类型在普通集群中为“http”,安全集群为“https”。详见MRS Manager管理界面“服务管理 > Hive > 服务配置”中“templeton.protocol.type”配置。
配置hosts文件 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 图2 管理安全组规则 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的IP和9092端口。 图3 添加入方向规则 在Manager界面选择“集群 >
配置hosts文件 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 图2 管理安全组规则 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的IP和9092端口。 图3 添加入方向规则 。 在Manager界面选择“集群
--server https://ip:port --krb5-remote-service-name Presto Server name 使用原生客户端 Presto原生客户端为客户端目录下的Presto/presto/bin/presto,使用方式参见https://prestodb
集群未启用Kerberos认证(普通模式)和集群已启用Kerberos认证(安全模式)关闭HTTPS后,需要去掉Doris Sink表的with子句中的如下配置参数: 'doris.enable.https' = 'true' 'doris.ignore.https.ca' = 'true' 创建Doris Sink表时还可设置表1中的相关参数。
业务进程响应缓慢或不可用。 可能原因 内存配置无法满足业务需求。内存使用率达到上限。 处理步骤 对系统进行扩容。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机地址。 登录告警节点。 执行命令free -m | grep Mem\: | awk
如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn
job命令,运行工作流文件。 oozie job -oozie https://oozie角色的主机名:21003/oozie -config job.properties文件所在路径 -run 例如: oozie job -oozie https://10-1-130-10:21003/oozie
组件有所不同,可根据需要选择版本类型。 LTS版:集群提供更强的高可靠和容灾能力,融入了MRS服务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本
27 16/02/24 15:45:42 INFO mapreduce.Job: The url to track the job: https://linux1:8090/proxy/application_1455853029114_0027/ 16/02/24 15:45:42
27 16/02/24 15:45:42 INFO mapreduce.Job: The url to track the job: https://linux1:8090/proxy/application_1455853029114_0027/ 16/02/24 15:45:42
“multiplexing”表示根据分发规则,有选择地发给某些channel。 interceptors - 拦截器配置。详细配置可参考Flume官方文档:https://flume.apache.org/FlumeUserGuide.html#flume-interceptors。 仅可在“properties
job命令,运行工作流文件。 oozie job -oozie https://oozie角色的主机名:21003/oozie -config job.properties文件所在路径 -run 例如: oozie job -oozie https://10-1-130-10:21003/oozie
Flink Job Pipeline增强 通常情况下,开发者会将与某一方面业务相关的逻辑代码放在一个比较大的Jar包中,这种Jar包称为Fat Jar。 Fat Jar具有以下缺点: 随着业务逻辑越来越复杂,Jar包的大小也不断增加。 协调难度增大,所有的业务开发人员都在同一套业
examples.OpentsdbExample: start to put data in opentsdb, the url is https://node-ana-corejnWt:4242/api/put/?sync&sync_timeout=60000 2019-06-27
examples.OpentsdbExample: start to put data in opentsdb, the url is https://node-ana-corejnWt:4242/api/put/?sync&sync_timeout=60000 2019-06-27
如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
低对业务持续性的影响。 MRS 3.1.5.0.3版本的补丁安装完成后,如需对接CES,请联系运维处理。 补丁下载地址 华北-北京一:https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/