检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“Controller”,单击“确定”。 单击右上角的设置日志收集的时间范围,一般为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
单击“新建连接”,配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“保存”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。另外VPC相关设置,也可能影响网络连通性。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“管理连接”。
客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间),时间差小于5分钟。 MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。 下载MapReduce客户端程序到客户端机器中。 登录MRS Manager系统。 选择“服务管理 >
address=5006:需要换成3获取到的For JDK1.4.x对应的调试端口。 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点,如图4所示,在SparkPi.scala的29行设置断点。 图3 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
配置多个SFTP服务器,多个服务器指定目录的数据将导入到Hive。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。
Hive组件中MetaStore服务的地址,如“thrift://10.10.169.84:21088,thrift://10.10.81.37:21088” - hive.metastore.sasl.enabled MetaStore服务是否使用SASL安全加固。表权限功能需要设置为“true”。
“下载路径”选择“远端主机”。 将“主机IP”设置为B集群的主Master节点IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果使用SSH登录B集群的默认端口“22”被修改,请将“主机端口”设置为新端口。 “存放路径”最多可以包含256个字符。 “登录用户”设置为“root”。
的登录密码,以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 建议管理员定期修改集群节点操作系统用户的登录密码,以提升系统运维安全性。 前提条件 获取待修改密码“omm”、“ommdba”用户对应节点的IP地址。 修改omm和ommdba用户需要获取root用户密码。
户端提交作业时,会将此地址随任务一起提交给ResourceManager。ResourceManager在作业完成后,将此参数作为查看作业历史信息的跳转地址保存在RMStateStore中。 JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapRed
配置多个FTP服务器,多个服务器指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 FTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。
HBase单表查询范围扫描优化 HBase单表查询范围扫描优化是指根据HBase的列的谓词条件尝试自动推断rowkey的起止地址,在tableScan的时候设置hbase scan起止地址从而提高访问性能。 比如假设HBase数据表的rowkey由building_code:house_code
配置多个SFTP服务器,多个服务器指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。
户端提交作业时,会将此地址随任务一起提交给ResourceManager。ResourceManager在作业完成后,将此参数作为查看作业历史信息的跳转地址保存在RMStateStore中。 JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapRed
L文件的路径,需要满足以下要求。 待执行SQL脚本文件地址,可直接手动输入地址路径,也可单击“HDFS”或者“OBS”选择文件。 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 OBS程序路径地址以“obs://”开头,例如“obs://wordcount/program/XXX
固定宽度文件输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 解释说明 示例 输出路径 SFTP服务器中导出文件的路径或者文件名,如果连接器配置多个地址此处可对应使用“;”分隔多个路径或者文
如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析
目录的数据导入到HDFS/OBS的同一个目录下。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。
SOCKS代理服务器,如“localhost:1080”。 httpProxy HTTP代理服务器地址,如“localhost:8888”。 applicationNamePrefix 要附加到任何指定的ApplicationName客户端信息属性的前辍,该属性用于设置HetuE
com/templeton/v1/jobs 参数 参数 描述 fields 如果设置成*,那么会返回每个job的详细信息。如果没设置,只返回任务ID。现在只能设置成*,如设置成其他值,将出现异常。 jobid 如果设置了jobid,那么只有字典顺序比jobid大的job才会返回。比如,如果
单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 Yarn权限: “集群管理操作权限”:Yarn管理员权限。 “调度队列”:队列资源管理。 表1 设置角色 任务场景 角色授权操作 设置Yarn管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称