检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Structure”页面，选择“Artifacts”，单击“+”并选择“JAR > Empty”。 图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample' compile output”，右键选择“Put
解决ClickHouse使用 OFFSET 的查询可能出现的管道卡住的问题 解决ClickHouse对于日期/时间类型，强制WITH FILL 类型与ORDER BY列类型相等的问题 解决ClickHouse连接失败，clickhouse-benchmark挂起的问题 解决Click
选择“系统设置 > 权限配置 > 用户管理 > 添加用户”： 设置可以登录Hue的WebUI界面且有存储策略管理员权限的用户的“用户名”。 “用户类型”选择“人机”。 设置登录Hue的WebUI界面的“密码”、“确认密码”。 单击“用户组”后的“选择添加的用户组”，在弹出的界面选择创建的
解决Hive开启向量化参数后使用split函数执行MR任务效率很低问题 解决Hive开启向量化后查询包含nvl函数和decimal(10,5)字段类型的表报错问题 解决Tez分区空目录报错，报目录不存在问题 解决MR任务提交慢问题 解决Spark2x创建UDF的jar包放到OBS路径上会查询UDF报错
对Map的中间结果进行压缩，当数据量大时，会显著减少网络传输的数据量，但是也因为多了压缩和解压，带来了更多的CPU消耗。因此需要做好权衡。当任务属于网络瓶颈类型时，压缩Map中间结果效果明显。针对bulkload调优，压缩中间结果后性能提升60%左右。 配置方法：将“mapreduce.map.output
在MRS控制台选择“作业管理”页签，单击“添加”，进入“添加作业”页面，具体请参见运行MapReduce作业。 图4 wordcount作业 作业类型选择“MapReduce”。 作业名称为“mr_01”。 执行程序路径配置为OBS上存放程序的地址。例如：obs://wordcount0
对Map的中间结果进行压缩，当数据量大时，会显著减少网络传输的数据量，但是也因为多了压缩和解压，带来了更多的CPU消耗。因此需要做好权衡。当任务属于网络瓶颈类型时，压缩Map中间结果效果明显。针对bulkload调优，压缩中间结果后性能提升60%左右。 配置方法：将“mapreduce.map.output
MRS集群日志概述 日志描述 MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表： 表1 日志分类一览表 日志类型 日志描述 安装日志 安装日志记录了Manager、集群和服务安装的程序信息，可用于定位安装出错的问题。 运行日志 运行日志记录了集群各服
SSL加密配置 服务端配置。 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置”，参数类别设置为“全部配置”，搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight Manager，选择“集群
在MRS控制台选择“作业管理”页签，单击“添加”，进入“添加作业”页面，具体请参见运行MapReduce作业。 图4 wordcount作业 作业类型选择“MapReduce”。 作业名称为“mr_01”。 执行程序路径配置为OBS上存放程序的地址。例如：obs://wordcount0
添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长，其中n表示等待服务返回的超时时长，单位为秒，类型为Int，默认为“0”（表示永不超时）。建议根据业务场景，设置为业务所能容忍的最大等待时长。 父主题： Spark接口介绍
配置了MRS用户访问OBS文件系统下的目录的权限，则还需配置回收站目录的操作权限。 表1 需要配置生命周期策略的目录 集群版本 回收站目录类型 组件名称 回收站目录 创建回收站目录 MRS 3.3.0-LTS之前版本 MRS集群内各组件默认需至少配置的回收站目录 Hive user/omm/
系统供应商安装并启动该工具。 方式二：使用“rng-tools”工具（伪随机数方式）：请联系操作系统供应商安装并启动该工具，并根据操作系统类型进行配置。 等待第二天零点，系统下一次熵值检查，查看告警是否自动清除。 是，操作结束。 否，执行10。 收集故障信息。 在FusionInsight
expired”，查看“定位信息”获取告警所在节点主机名，以omm用户登录该主机，依次执行2~4，检查对应证书是否过期。如果都未过期，则请排查是否导入过其他类型证书，并重新导入证书文件。 检查系统中合法证书文件的有效期。 查看当前系统时间是否在CA证书的有效期内。 执行命令bash ${CONTR
Structure”页面，选择“Artifacts”，单击“+”并选择“JAR > Empty”。 图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample' compile output”，右键选择“Put
参数 默认值 描述 数据加载配置 carbon.lock.type HDFSLOCK 该配置指定了表上并发操作过程中所要求的锁的类型。 有以下几种类型锁实现方式： LOCALLOCK：基于本地文件系统的文件来创建的锁。该锁只适用于一台机器上只运行一个Spark Driver（或者JDBCServer）的情况。
需要操作的集群名称，选择“更多 > 下载客户端”，弹出“下载集群客户端”信息提示框。 选择“完整客户端”，选择与待安装节点架构相匹配的平台类型，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
检测到磁盘状态异常会触发告警。当磁盘恢复正常后，告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 47002 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名
参数 默认值 描述 数据加载配置 carbon.lock.type HDFSLOCK 该配置指定了表上并发操作过程中所要求的锁的类型。 有以下几种类型锁实现方式： LOCALLOCK：基于本地文件系统的文件来创建的锁。该锁只适用于一台机器上只运行一个Spark Driver（或者JDBCServer）的情况。
启Yarn服务。 MRS Manager界面操作： 登录MRS Manager页面。 选择“服务管理 > Yarn > 服务配置”将“参数类别”修改为“全部配置”。 在“搜索”栏输入“yarn.scheduler.maximum-allocation-mb”修改参数并保存重启服务。如下图所示：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
