检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具,可将结构化的数据文件映射成一张数据库表,并提供类SQL的功能对数据进行分析处理,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,适合用于数据仓库的统计分析。 背景信息 假定用户开发一
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian调用ECS metadata失败时,可能会导致获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 ECS底层接口异常,导致请求失败。
psert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件,而不是写log。 分区设置操作
慢查询的SQL语句的执行开始时间。 结束时间 慢查询的SQL语句的执行结束时间。 查询时长(s) 慢查询的SQL语句当前累计执行的时间,单位是秒。 用户 执行慢查询的SQL语句的ClickHouse用户。 客户端IP 提交该慢查询SQL语句的客户端IP。 占用的内存空间(MB) 慢查询SQL语句占用的内存大小统计,单位是MB。
初始状态下,任务1发送给队列A,此任务需要75%的集群资源。之后任务2发送到了队列B,此任务需要50%的集群资源。 任务1将会使用队列A提供的25%的集群资源,并从队列B获取的50%的集群资源。队列B保留25%的集群资源。 启用抢占任务特性,则任务1使用的资源将会被抢占。队列B会从队列A中获取25%的集群资源以满足任务2的执行。
配置HDFS详细参数。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中,确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 在本实践中,需要确保本地环境与MRS集群所在网络平面互通,通常可以通过绑定EIP的方式访问MRS集群,具体操作请参考配
下要求该文件夹的完整路径不包含空格。 图1 导入样例工程到Eclipse中 单击“Finish”。 导入成功后,com.huawei.bigdata.hive.example包下的HCatalogExample类,为HCatalog接口样例代码 设置Eclipse的文本文件编码格式,解决乱码显示问题。
送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 消费者通过此参数值,创建与Broker之间的连接。 security.protocol 安全协议类型。 消费者使用的安全协议类型
ows下要求该文件夹的完整路径不包含空格。 图1 导入样例工程到Eclipse中 单击“Finish”。 导入成功后,com.huawei.bigdata.hive.example包下的JDBCExample类,为JDBC接口样例代码。 设置Eclipse的文本文件编码格式,解决乱码显示问题。
安装和配置Eclipse 用于开发Impalad应用程序的工具。版本要求如下: JDK使用1.7版本,Eclipse使用3.7.1及以上版本。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 说明: 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM
psert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件,而不是写log。 分区设置操作
安装和配置Eclipse 用于开发Presto应用程序的工具。版本要求如下: JDK使用1.7版本,Eclipse使用3.7.1及以上版本。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 说明: 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM
安装和配置Eclipse 用于开发Hive应用程序的工具。版本要求如下: JDK使用1.7版本,Eclipse使用3.7.1及以上版本。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 说明: 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。
Manager页面查看ResourceManager此时是否功能正常,如果Yarn服务状态故障或某个Yarn服务的实例出现未知之类的异常说明此时集群的ResourceManager可能异常。 排查使用的客户端是否是集群最新的客户端。 排查集群是否做过实例ResourceManager迁移相关操作(先卸载某个
告警”,选中“告警ID”为“19007”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster,执行2。 告警上报的角色是RegionServer,执行3。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase
GROUP BY GROUP BY GROUP BY将SELECT语句的输出行划分成包含匹配值的分组。简单的GROUP BY可以包含由输入列组成的任何表达式,也可以是按位置选择输出列的序号。 以下查询是等效的: SELECT count(*), nationkey FROM customer
'/tmp/export';命令导入表会将导出的表导入到指定的表中,需注意以下两点: 如果目标集群上不存在与指定的表名相同的表,在导入表的过程中会创建该表。 如果目标集群上已存在与指定的表名相同的表,该表对应的HDFS目录下必须为空,否则导入失败。 “haclusterX”为新增的自定义参数“dfs.namenode
所以在普通模式下,建议单用户场景下使用,必须通过严格限定网络访问权限来保障集群的安全。 尽量将业务应用程序部署在同VPC和子网下的ECS中,避免通过外网访问MRS集群。 配置严格限制访问范围的安全组规则,禁止对MRS集群的入方向端口配置允许Any或0.0.0.0的访问规则。 父主题: MRS集群部署说明
remotenn1”值为对端集群其中一个NameNode实例的业务IP和RPC端口,设置“haclusterX.remotenn2”值为对端集群另外一个NameNode实例的业务IP和RPC端口。按照“IP:port”格式填写。 针对MRS 3.x版本集群,登录FusionInsight Manager页面,选择“集群
送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 消费者通过此参数值,创建与Broker之间的连接。 security.protocol 安全协议类型。 消费者使用的安全协议类型