检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/opt/warehouse_t1.csv 导入完成后,登录ClickHouse客户端连接导入数据的ClickHouse实例节点,执行查询命令查看导入的结果。 例如,导入完成后查询表warehouse_t1数据,结果如下: clickhouse client --host ClickHouse的实例IP
<table>同步表schema信息,需要查询该表时才会同步全量元数据;而新增分区,插入数据等场景可主动执行refresh即可增量更新元数据。 定时使用compute increment stats <table_name>刷新常用表的统计信息,加速查询 Impala依赖表统计信息对查询消耗的资源做预估,
cn-north-1.myhuaweicloud.com/。 配置华为开源镜像仓 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。
表的名称。 注意事项 删除segment将删除相应segment的所有二级索引。 如果查询的表设置了carbon.input.segments属性,则DELETE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon.input.segments. <database_name>
表的名称。 注意事项 删除segment将删除相应segment的所有二级索引。 如果查询的表设置了carbon.input.segments属性,则DELETE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon.input.segments. <database_name>
该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。 用户需要在FlinkServer中对指定的用户设置权限,才能够更新数据、查询数据和删除数据等。 前提条件 集群管理员已根据业务需要规划权限。
该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。 用户需要在FlinkServer中对指定的用户设置权限,才能够更新数据、查询数据和删除数据等。 前提条件 集群管理员已根据业务需要规划权限。
RS集群的日志记录,通过云审计服务(Cloud Trace Service,CTS)实现。CTS是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配
MapReduce任务需要设置Yarn权限,或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的操作。 安全模式下Yarn和HBase的权限管理默认是开启的,因此在安全模式下默认需要配置Yarn和HBase权限。
ty”,可根据实际业务场景选择对应的样例。 在安全模式下,获取“src\flink-examples”下的样例工程flink-examples-security。 在普通模式下,获取“src\flink-examples”下的样例工程flink-examples-normal。 在导入样例工程之前,IntelliJ
熔断规则存在边界效应,例如某个Job直到最后几个task才超过阈值,在执行熔断前任务恰好完成,则无法真正取消Job。 熔断规则running_0004,SQL执行时长包括Driver侧执行时间和Job运行时间,当SQL运行阻塞在Driver侧,尽管超过了熔断阈值,但是也无法取消job。此现象在存算分离场景下,INSERT
apReduce任务需要设置Yarn权限,或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的权限操作。 安全模式下Yarn和HBase的权限管理默认是开启的,因此在安全模式下默认需要配置Yarn和HBase权限。
mbiner。一般将reduce类设置为Combiner即可。通过Combiner,一般情况下可以显著减少Map输出的中间结果,从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口 类名 接口名 描述 org.apache
mbiner。一般将reduce类设置为Combiner即可。通过Combiner,一般情况下可以显著减少Map输出的中间结果,从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口 类名 接口名 描述 org.apache
间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB使用场景有如下几个特点: 采集指标在某一时间点具有唯一值,没有复杂的结构及关系。 监控的指标具有随着时间不断变化的特点。
该任务指导MRS集群管理员在Manager创建并设置HBase的角色。HBase角色可设置HBase管理员权限以及HBase表和列族的读(R)、写(W)、创建(C)、执行(X)或管理(A)权限。 用户需要在HBase中对指定的数据库或表设置权限,才能够创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问HBase表。
集群自动创建。 安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则,默认填充的是用户访问弹性IP地址的规则,如需开放多个IP段为可信范围用于访问Manager页面,请参考6~9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 添加安全组规则会在“安全组
文件。 提交作业并查看结果:在集群客户端提交wordcount数据分析作业并查看执行结果。 释放资源:如果您在完成实践后不需要继续使用MRS集群,请及时清理资源以免产生额外扣费。 准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。
BE运行数据导入或查询任务报错 现象描述 导入或查询数据时,报错: Not connected to 192.168.100.1:8060 yet, server_id=384 原因分析 运行任务的BE节点故障。 RPC拥塞或其他错误。 处理步骤 如果运行任务的BE节点故障,需查看具体的故障原因再进行解决。
配额说明 配额是用户账号在对应环境配置的可用资源额度,限定配额仅是为了防止资源滥用。 MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP