检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看对应HiveServer日志,发现是启动localtask失败: 2018-04-25 16:37:19,296 | ERROR | HiveServer2-Background-Pool: Thread-79 | Execution failed with exit status
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
单击“刷新”,在“目录名称”查看筛选的目录。 单击“同步”保存筛选结果。 输入正则表达式时,可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。
在云硬盘列,查看数据盘容量是否扩容至目标容量 。 登录Manager,查看扩容节点的磁盘信息,对应磁盘分区是否扩容成功。
具体参数使用方法,可通过命令行查看。
具体参数使用方法,可通过命令行查看。
作业提交成功中,可在作业列表中查看作业运行状态及执行结果,等待作业状态变为“已完成”,可查看相关程序分析结果。 通过集群客户端提交作业 安装MRS集群客户端,具体操作可参考安装MRS集群客户端。 MRS集群中默认安装了一个客户端用于作业提交,也可直接使用该客户端。
约束限制: 不涉及 取值范围: MapReduce SparkSubmit SparkPython:该类型作业将转换为SparkSubmit类型提交,MRS控制台界面的作业类型展示为SparkSubmit,通过接口查询作业列表信息时作业类型请选择SparkSubmit。
在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始调试,比如单步调试、查看调用栈、跟踪变量值等,如下图所示。 图5 调试 父主题: Storm应用开发常见问题
修改完成后,使用IntelliJ IDEA开发工具时,可选择“File > Settings > Build, Execution, Deployment > Build Tools > Maven”查看当前“settings.xml”文件放置目录,确保该目录为“<本地Maven安装目录
选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”进入资源页面,在表“连接数(按客户端IP)”中查看告警对应客户端IP的连接数是否较大。 是,执行3。 否,执行4。 请确认并排查该客户端是否存在进程连接泄露的情况。
支持单击“查看实例”打开所有配置已过期的实例列表,确认可以执行重启任务。 父主题: 管理MRS集群
等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行11。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。
样例 以表输入为例,生成字段后,由HBase输出到对应的HBase表中,数据存放于test表中,如下图: 创建HBase表: create 'hbase_test','f1','f2'; 配置“HBase输出”算子,如下图: 作业执行成功后,查看hbase_test表中数据: 父主题
例如,为用户组“hs_group1”(该用户组仅由数字0~9、字母a~Z、下划线或#组成,且最大长度为52个字符,否则将导致策略添加失败)添加“obs://hs-test/user/hive/warehouse/o4”表的读写权限,配置如下: 单击“Add”,在策略列表可查看策略的基本信息
例如使用HDFS客户端命令查看HDFS根目录文件,执行hdfs dfs -ls /。 父主题: 使用MRS客户端
可登录FusionInsight Manager,选择“集群 > 服务 > Oozie > 实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。
通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。
rc格式目前只支持查看数据。 -c 打印当前元信息中列的信息。 列信息包含类名、类型、序号。 -d 打印数据文件中的数据,可通过“'limit=x'”限制数据量。 数据为当前指定的数据文件内容,通过limit限制数据量时一次只能指定一个数据量大小。 -t 打印写入数据的时区。
请等待两小时后查看告警是否恢复。 是,操作结束。 否,执行3。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机,单击“确定”。