检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图4 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始调试,比如单步调试、查看调用栈、跟踪变量值等,如下图所示。 图5 调试 父主题: Storm应用开发常见问题
败)添加“obs://hs-test/user/hive/warehouse/o4”表的读写权限,配置如下: 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如果不再使用策略,可单击按钮删除策略。 父主题: Ranger权限策略配置示例
创建HBase表: create 'hbase_test','f1','f2'; 配置“HBase输出”算子,如下图: 作业执行成功后,查看hbase_test表中数据: 父主题: Loader输出类算子
重启配置过期的实例”。 在弹出窗口中输入当前登录的用户密码确认身份,然后单击“确定”。 在确认重启实例的对话框中单击“确定”。 支持单击“查看实例”打开所有配置已过期的实例列表,确认可以执行重启任务。 父主题: 管理MRS集群
r实例数量。 实例添加完成后,重启JobGateway服务。 重启服务会造成JobGateway的作业功能在重启期间不可用。 等待5分钟,查看本告警是否恢复。 是,操作结束。 否,执行5。 收集故障信息 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。
/proc/sys/kernel/pid_max,查看系统当前运行的PID最大值“pid_max”。 若PID使用率超过阈值,则编辑“/etc/sysctl.conf”文件,将“kernel.pid_max”参数值增大为1.c查询到的pid_max值的一倍,若无该参数则请在文件末尾添加。
S,热数据存储在HDFS中,能有效降低存储成本。 该功能仅MRS 3.3.0及之后版本支持。 OBS读IOPS的能力降低,因此只适用于低频查询的场景。 OBS不适合并发大量读请求的场景,并发大量读请求可能会导致请求异常。 原理介绍 HBase支持对同一张表的数据进行冷热分离存储。
iotdb.SessionbyKerberosExample”类。 在Manager界面,选择“集群 > 服务 > IoTDB > 实例”,查看待连接的IoTDBServer所在的节点IP。 RPC端口可通过登录FusionInsight Manager,选择“集群 > 服务 > IoTDB
apache.hadoop.hive.ql.exec.mr.MapredLocalTask (state=08S01,code=1) ... 查看对应HiveServer日志,发现是启动localtask失败: 2018-04-25 16:37:19,296 | ERROR | Hi
扩展磁盘分区和文件系统时,只能将新增容量扩展至磁盘的尾部分区,系统盘为多分区,故暂不支持系统盘扩容。 确认数据盘扩容是否成功。 在云硬盘列,查看数据盘容量是否扩容至目标容量 。 登录Manager,查看扩容节点的磁盘信息,对应磁盘分区是否扩容成功。 数据盘扩容(手动扩容) 当集群版本为MRS 3.1.2-LTS
UidManager, args: assign metrics sys.cpu.user metrics sys.cpu.user: [0, 0, 6] 查询OpenTSDB指标 tsdb命令可以获取到当前opentsdb存入的指标,可执行tsdb uid metrics sys.cpu.user命令。
如果合并完成后,在一直处于连接状态的spark-beeline/spark-sql session中查询分区表的数据,出现文件不存在的问题,根据提示可以执行"refresh table 表名"后再重新查询。 请依据实际情况合理设置filesize值,例如可以在scan得到表中平均文件大小值a
doop/lib/* com.huawei.bigdata.hive.example.ExampleMain 在命令行终端查看样例代码中的HiveQL所查询出的结果。 Linux环境运行成功结果会有如下信息。 Create table success! _c0 0 Delete table
使用以下命令统计节点进程的线程数并排序。 ps -efT | awk '{print $2}' |sort -n |uniq -c |sort -n 执行后结果如下: 查看启动线程数最多的进程,案例中进程2346为NameNode进程,启动了5.4万线程,且持续增长。 多次打印对应进程的jstack日志,根据
平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 >
平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 >
单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待两分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行5。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 >
此时请将“yarn.timeline-service.generic-application-history.enabled”(客户端查询app任务数据时是否从TimelineServer服务获取)参数设置为“false”,直接从ResourceManager上面获取app任务数据。
出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuEngine提供了统一标准SQL实现跨源协同分析,简化跨源分析操作。 图1 FineBI访问MRS HetuEngine
解决Hivese提交sql卡顿问题 支持jobhistory查询失败信息接口 解决细粒度权限不生效问题 解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hive开启矢量向量化查询有些字符串性能差问题 MRS 1.9.0.5 修复问题列表: