检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择配置工具 “Agent名”选择“server”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击
选择配置工具 “Agent名”选择“server”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击
选择配置工具 “Agent名”选择“server”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用Taildir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对
5817610 secs] 4153654K->3843458K(4160256K), [CMS Perm : 27335K->27335K(45592K),2.5820080 SECS] [Times: user=2.63, sys0.00, real=2.59 secs] 用户业务配置的Spooldir
"ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list"
createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象,其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段: // Set up a table name. String
createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象,其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段: // Set up a table name. String
dependent属性后,即为私有用户)的密码;如果忘记此用户密码,密码将无法找回。 admin用户无法设置Independent属性。 移动鼠标到界面右上角的用户名。 在弹出的菜单栏中单击“设置Independent”或“取消Independent”。 私有属性功能开关已开启,
修改CompiledPlan时不能破坏Json File文件结构,否则作业会提交失败。CompiledPlan的保存路径可以是HDFS路径也可以是OBS路径,本示例以HDFS路径为例。 使用方法 修改CompiledPlan中对应算子的“table.exec.resource.defaul
table = '表名'; SELECT replica_num,host_name FROM system.clusters; 执行以下命令连接ZooKeeper命令行界面。 zkCli.sh -server ZooKeeper所在节点的IP:2181 获取ZooKeeper的IP
默认值:0,表示数据永不过期。 0 state.backend.hbase.zookeeper.quorum 访问HBase使用的ZooKeeper的连接地址,格式:ZooKeeper的quorumpeer实例业务IP:ZooKeeper客户端端口号,ZooKeeper的quorumpeer
在普通模式下使用HCatalog客户端,系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用!q命令,不要使用“Ctrl + C”。否则会导致连接生成的临时文件无法删除,长期会累积产生大量的垃圾文件。 在使用beeline客户端时,如果需要在一行中输入多条语句,语句之间以“;”分隔,
检查HQL命令是否符合语法。 在FusionInsight Manager界面选择“运维 > 告警”,查看告警详情,获取产生告警的节点信息。 使用Hive客户端连接到产生该告警的HiveServer节点,查询Apache提供的HQL语法规范,确认输入的命令是否正确。详情请参见https://cwiki
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。
SparkSQL访问Hive分区表启动Job前耗时较长如何处理? 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表,但是运行速度却很慢,并且会大量调用OBS的查询接口。 SQL样例: select a,b,c from test where b=xxx 原因分析 按
protection”配置项的值保持一致。 远端备份至HDFS,不支持HDFS加密目录。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录等策略规格。 备份ClickHouse业务数据 在FusionInsight
端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 备份CDL业务数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。
选择配置工具 “Agent名”选择“client”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、File Channel和Avro Sink,如图3所示。 图3 Flume配置工具示例 双击对应
选择配置工具 “Agent名”选择“server”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。 例如采用Avro Source、File Channel和HDFS Sink,如图2所示。 图2 Flume配置工具示例 双击对应的s
选择配置工具 “Agent名”选择“client”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、File Channel和Avro Sink,如图3所示。 图3 Flume配置工具示例 双击对应