检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ation)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量
ation)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量
文件中的字段分隔符。 “映射表类型”选择“HDFS”时存在此参数。 例如:“,” 流/表结构 填写流/表结构,包含名称,类型。 - Proctime 指系统时间,与数据本身的时间戳无关,即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time
backtype.storm.StormSubmitter.submitTopologyAs(StormSubmitter.java:213) 查看系统/tmp目录,发现存在user.keytab文件,且文件宿主非运行用户。 解决办法 提交拓扑时携带用户user.keytab文件。 提交拓扑时的用户需要和user
count(empno) from carbon_table_MulTI_THread").show() } } 重置(Reset): RESET 系统响应 如果运行成功,将记录在driver日志中。 如果出现故障,将显示在用户界面(UI)中。 父主题: CarbonData语法参考
--value true。 属性类别 子属性 含义 server -h,--host 服务IP地址 -p,--port 服务端口 -w,--webapp Tomcat应用名 -u,--url Sqoop服务URL option verbose 冗余模式,表示打印更多的信息 poll-timeout
Manager页面,选择“集群 > 服务 > ClickHouse > 实例”,选择对应的实例节点,单击“启动实例”,完成实例启动。 实例启动成功后,使用ClickHouse客户端登录问题节点。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。
x及后续版本。 对系统的影响 配置从NameNode支持读可以降低主NameNode的负载,提高HDFS集群的处理能力,尤其是在大集群下效果明显。 配置从NameNode支持读需要更新客户端应用配置。 前提条件 已安装HDFS集群,主备NameNode正常,HDFS服务正常。 规划安
'clickhouse用户密码' 查看ClickHouse用户密码: 登录FusionInsight Manager界面,选择“集群 > 服务 > ClickHouse > 实例”,单击任意ClickHouseServer角色名称。进入ClickHouseServer“概览”页面,单击“配置文件”中的users
用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。在为集群安装补丁的场景中,也支持排除指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。 对系统的影响 主机隔
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
6补丁安装之后,HBase和Hue的配置状态会变成过期状态,需要手动在MRS Manager页面执行滚动重启HBase服务和Hue服务。具体操作请参考重启MRS集群组件。 图1 HBase服务和Hue服务状态 新增弹性公网IP访问MRS Manager功能,弹性公网IP使用及注意事项说明参考访问MRS集群Manager。
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H
出于对集群性能的考虑,通信过程默认不加密,对于一些安全要求较高用户可以采用以下方式进行加密。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 执行加密操作时,会自动重启Controller和所有Agent,重启期间会造成FusionInsight Manager暂时中断。
在集群详情页,选择“组件管理 > 添加服务”。 在服务列表中,勾选需要添加的服务,单击“下一步”。 图2 添加Guardian服务 在“拓扑调整”页面勾选服务部署的节点(Guardian建议部署在master节点上)。 单击“确认”。服务添加完成后,在“组件管理”页面可以查看所添加的服务。 在Conso
ile文件,再将HFile文件注册到HBase,因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源,也可能会生成大量很小的HFile文件频繁的触发Compaction,导致查询速度急剧下降。 错误的使用put,会造成数据加载慢,当分配给
ile文件,再将HFile文件注册到HBase,因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源,也可能会生成大量很小的HFile文件频繁的触发Compaction,导致查询速度急剧下降。 错误的使用put,会造成数据加载慢,当分配给
该数据源ZooKeeper服务所有quorumpeer实例业务IP。当该数据源ZooKeeper服务使用IPv6时,则需额外在ZooKeeper Quorum地址中指定客户端端口号。 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper >
准备一个应用程序运行测试的环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。