检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bulkinsert.shuffle.parallelism", 4). mode(Overwrite). save(basePath) 示例中各参数介绍请参考表1。 使用spark datasource接口更新Mor表,Upsert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。
在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。 查看角色实例监控。 在组件列表中单击服务指定名称。 单击“实例”,查看组件内的各角色实例状态。 支持在列表右上角筛选相同角色的全部实例。单击“高级搜索”,在角色搜索区域中设置搜索条件,单击“搜索”,查看指定的角色信息。单
图1 查看集群节点ID 单击需要查询的节点名称,进入对应节点的弹性云服务器界面,在“云硬盘”界面中,单击系统盘和数据盘名称左侧的,查看并记录各云硬盘的“ID”值。 单击“基本信息”,在云服务信息区域中查看并记录弹性云服务器“ID”值。 在控制台顶部菜单栏中选择“费用 > 费用账单”,进入费用账单页面。
oozie调度失败 /user/mapred/hadoop-mapreduce-3.1.1.tar.gz 固定文件 MR分布式缓存功能使用的各jar包 否 MR分布式缓存功能无法使用 /user/hive 固定目录 Hive相关数据存储的默认路径,包含依赖的spark lib包和用户默认表数据存储位置等
warning表示当前事件处理存在异常信息。 trace trace表示当前事件处理跟踪信息。 information information表示记录系统及各事件正常运行状态信息。 debug debug表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight
持DataNode数据平衡。 HDFS提供了一个容量均衡程序Balancer。通过运行这个程序,可以使得HDFS集群达到一个平衡的状态,使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1
持DataNode数据平衡。 HDFS提供了一个容量均衡程序Balancer。通过运行这个程序,可以使得HDFS集群达到一个平衡的状态,使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1
在连接管理界面,单击“新建连接”,连接器类型选择“MRS Hive”。 单击“下一步”配置Hive连接参数,如图6所示。 图6 创建Hive连接 各参数说明如表2所示,需要您根据实际情况配置。 表2 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
称,主键,自定义列,及插入的具体值。例如: put 'hot_cold_table','row1','cf:a','value1' 命令中各参数分别代表如下含义: hot_cold_table:表的名称。 row1:主键。 cf:a:自定义的列。 value1:插入的值。 数据查询
索框中搜索“yarn.resourcemanager.port”参数获取。 hadoop.rpc.protection:设置Hadoop中各模块的RPC通道是否加密,默认为“privacy”。可在Manager界面,选择“集群 > 服务 > HDFS > 配置”,搜索“hadoop
host_name from system.clusters; 集群存储空间 集群退服操作前,集群非退服节点磁盘空间需要满足存储所有退服节点的数据,并且各非退服节点的存储空间在退服后还能有大约10%的空间冗余,保证退服后剩余实例正常运行。具体操作步骤如下: 执行此命令收集各节点磁盘空间存储情况:
nnel之间,大部分的Source都带有Interceptor参数。用户可以依据需要配置。 Flume支持一个Source配置多个拦截器,各拦截器名称用空格分开。 指定拦截器的顺序就是它们被调用的顺序。 使用拦截器在Header中插入的内容,都可以在Sink中读取并使用。 表5 Flume内建支持的拦截器类型
--查询数据 select * from map_tb; -- {bar=2, foo=1} ROW ROW的字段可是任意所支持的数据类型,也支持各字段数据类型不同的混合方式。 --创建ROW表 create table row_tb (id int,col1 row(a int,b varchar));
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Zookeeper > 实例”,查看Zookeeper各角色的管理IP。 登录客户端所在节点,配置环境变量并认证用户(未开启Kerberos认证的集群无需操作)后执行如下命令: zkCli.sh -server
的脚本与多个可选的执行时机基本可以满足用户的各项需求,使弹性伸缩更具灵活性。 弹性伸缩规则: 用户对于一个集群,可以同时设置扩容、缩容最多各5条弹性伸缩规则。 系统根据用户的配置顺序从前到后依次判断规则,先扩容,后缩容。请尽量把重要的策略放在前面,以防一次扩容或缩容无法达到预期效果而进行反复触发。
文件(例如“/tmp/FusionInsight_Cluster_1_Services_ClientConfig/hosts”)中所列出的各主机在网络上互通。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的“/etc/hosts”文件(更改此文件需要root用户权限)
0及之后版本为“ogg-oracle-avro”)显示该参数。 ogg_topic Source Topics 源端Topic可以包含英文字母、数字、特殊字符(-,_),各Topic应该以英文逗号分隔。 topic1 Tasks Max 允许Connector创建的最大Task的数量,数据库类型的Connector只允许配置为1。
168.64.122:21424”。 本样例工程中,基于业务场景的开发思路如下,通过clickhouse-jdbc API接口来进行实现,各功能代码片段详情说明可参考开发ClickHouse应用。 建立连接:建立和ClickHouse服务实例的连接。 创建连接时传入表1中配置的用
关键数据根据实际业务需要保存在具有高度可靠性的节点中。 管理员可以根据实际业务需要,通过数据特征灵活配置HDFS数据存储策略,将数据保存在指定的节点上。 对于租户,存储资源是各租户所占用的HDFS资源。可以通过将指定目录的数据存储到租户配置的存储路径中,实现存储资源调度,保证租户间的数据隔离。 用户可以添加/删除租