检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待创建的MRS集群名称。 集群类型 自定义 根据业务实际需求选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本,不同版本
是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否,单击“确定”指定本地的保存位置,开始下载完整客户端,等待下载完成,然后执行4。
printStackTrace(); } return flag; } 避免对同一张表同时进行读写操作 目前的版本中,Hive不支持并发操作,需要避免对同一张表同时进行读写操作,否则会出现查询结果不准确,甚至任务失败的情况。 父主题: Impala开发规范
it”配置过小,导致可使用的核不足1个时,例如4核节点,将此参数设置为20%,不足1个核,那么将会使用系统全部的核。Linux的一些版本不支持Quota模式,例如Cent OS。在这种情况下,可以使用CPUset模式。 配置cpuset模式,即Yarn只能使用配置的CPU,需要在Manager界面添加以下配置。
SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对HetuEngine的SQL防御规则。 HetuEngine SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0001”,SQL语句中count disti
it”配置过小,导致可使用的核不足1个时,例如4核节点,将此参数设置为20%,不足1个核,那么将会使用系统全部的核。Linux的一些版本不支持Quota模式,例如Cent OS。在这种情况下,可以使用CPUset模式。 配置cpuset模式,即YARN只能使用配置的CPU,需要添加以下配置。
idx1、idx2、idx3:表示索引名称。 cf1、cf2:表示列族名称。 c1、c2、c3、c4:表示列名称。 string:表示数据类型。支持STRING、INTEGER、FLOAT、LONG、DOUBLE、SHORT、BYTE和CHAR。 '#'用于分隔索引,';' 用于分隔列族,'
使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任
printStackTrace(); } return flag; } 避免对同一张表同时进行读写操作 目前的版本中,Hive不支持并发操作,需要避免对同一张表同时进行读写操作,否则会出现查询结果不准确,甚至任务失败的情况。 父主题: Impala开发规范
GROUPING SETS ((origin_state,origin_zip ),( origin_state ),()); Group by子句目前不支持使用列的别名,例如: select count(userid) as num ,dept as aaa from salary group
如果集群未启用Kerberos认证(普通模式)请跳过该操作) 检查Share Lib,包括客户端和服务端两种方式。Spark Share Lib仅支持客户端检查。 客户端方式: 检查Oozie核心Share Lib,且执行检查的Oozie客户端所在节点必须安装了一个oozie实例。 oozie
eveldbRMStateStore)或通过ZooKeeper共享(ZKRMStateStore)。这三种方式中只有ZooKeeper共享支持Fencing机制。Hadoop默认使用ZooKeeper共享。 关于YARN高可用性方案的更多信息,可参考如下链接: MRS 3.2.0之前版本:http://hadoop
数据源配置 驱动:选择“自定义 > 选择自定义驱动”,单击,编辑驱动名称,单击“上传文件”上传已获取的JDBC jar包,单击“确定”。 URL:支持HSFabric方式和HSBroker方式,详情请参考表1。 服务器登录:选择“用户名和密码”并填写相应的用户名及密码。 单击“新建数据集
SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对ClickHouse的SQL防御规则。 ClickHouse SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0008”,SQL语句执行ClickHouse
解决HetuEngine计算实例在Yarn上启动失败的问题。 解决HetuEngine CN主备倒换,计算实例状态短暂变成ERROR导致业务失败问题。 支持ClickHouse备份到OBS。 解决ClickHouse物化视图的基表中添加列,报OOM的问题。 解决ClickHouse Mysql引擎偶现卡顿问题(root补丁修复)。
启动方式 表示此次检查的属性,是否自动触发或手动执行。 开始时间 表示此次检查的开始时间。 结束时间 表示此次检查的结束时间。 操作 支持“导出报告”和“查看帮助”。 导出健康检查报告: 在目标健康检查报告所在行,单击“导出报告”,下载报告文件。 在Manager查看健康检查报告(MRS
keep_alive_timeout 服务端与客户端保持长连接的时长,单位为秒。 10 600 否 max_concurrent_queries 最大支持的查询并发。 100 150 否 session_timeout_ms ClickHouse服务和ZooKeeper保持的会话时长,超过该
高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双读特性不支持双写,但不影响原有的实时写场景。 易用性:客户端封装处理,业务侧不感知。 HBase双读使用约束: HBase双读特性基于Replicat
onf/* -R -A1 修改样例代码。 当前样例代码中操作HBase的接口有三种,分别是普通接口,HFS接口(MRS 1.9.x版本不再支持该接口),REST接口。调试不同API接口操作HBase时可以注释其他接口调用。这里以使用普通接口操作HBase为例,main方法中只包含如下代码段。
Hive客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端,具体请参考安装客户端章节。例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管