检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1表示segment0与segment1合并之后的结果。 数据合并前后的其他操作没有差别。 被合并的segments(例如segment0和segment1)即成为无用的segments,会占用空间,因此建议合并之后使用CLEAN FILES命令进行彻底删除,再进行其他操作。CLEAN FILES命令的使用方法可参考CLEAN
假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。
caching:在扫描数据表时的缓存行数。 如果不设置该参数,则默认值为1000。 为单个Region构建索引是为了修复损坏的索引,此功能不应用于生成新索引。 创建HBase HIndex 安装HBase客户端,详情参见HBase客户端使用实践。 以客户端安装用户,登录安装客户端的节点。 进入客
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE
Hive分区数过多导致删除表失败 问题现象 Hive创建的二级分区表有两万多个分区,导致用户在执行truncate table ${TableName},drop table ${TableName}时失败。 原因分析 删除文件操作是单线程串行执行的,Hive分区数过多导致在元数据数据库会保存大量元数据信息,在
次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。 Kafka服务的topic的leader异常后,如果Kafka的leader和follower的offset相差太大,用户重启Kafka服务,Kafka的foll
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询的节点列表信息。 错误码 请参见错误码。 父主题: 集群管理接口
Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12070 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时,
Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12075 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 告警长期存在时,会导
如果报错的是三方包里面的类,可能是因为Spark已经自带了相关的jar包,但是和代码中使用的版本不一致。 操作步骤 方案一: 针对jar包冲突的问题,可以确认是否不需使用三方工具的包,如果可以更改为集群相同版本的包,则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二: jar包版本修改演示
如果报错的是三方包里面的类,可能是因为Spark已经自带了相关的jar包,但是和代码中使用的版本不一致。 操作步骤 方案一: 针对jar包冲突的问题,可以确认是否不需使用三方工具的包,如果可以更改为集群相同版本的包,则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二: jar包版本修改演示
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”,搜索“hive.local.dir.confblacklist”配置项。 在该配置项中添加用户要重点保护的数据库、表或目录路径。 输入完成后,单击“保存”,保存配置项。
导出命令的超时时间同查询的超时时间,可以通过SET query_timeout=xxx进行设置。 对于结果集为空的查询,依然会产生一个大小为0的文件。 文件切分会保证一行数据完整的存储在单一文件中,因此文件的大小并不严格等max_file_size。 对于部分输出为非可见字符的函数,如BITMAP、HLL类型,输出为\N,即NULL。
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 附加信息 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 详细信息 慢盘隔离描述信息。 对系统的影响 处于隔离状态的磁盘或者节点不能及时恢复,可能会对大数据组件运行产生影响,进而影响用户业务使用。
索引表的名称。表名称应由字母数字字符和下划线(_)特殊字符组成。 db_name 数据库的名称。如果未指定,选择当前默认数据库。 table_name 需要删除的表的名称。 注意事项 该命令中IF EXISTS和db_name为可选项。 示例 DROP INDEX if exists productNameIndexTable
ent。用户可以通过在配置中指定Flume内建拦截器的类名列表,也可以开发自定义的拦截器来实现Event的修改或丢弃。Flume内建支持的拦截器如下表所示,本章节会选取一个较为复杂的作为示例。其余的用户可以根据需要自行配置使用。官网参考:http://flume.apache.o
如何处理HetuEngine数据源丢失问题 问题 登录客户端查看HSConsole界面对接的数据源,数据源丢失。 回答 数据源丢失可能原因是DBservice主备倒换或数据库连接数使用率超过阈值造成。 用户可以登录FusionInsight Manager页面查看告警信息。 根据
如果报错的是三方包里面的类,可能是因为Spark已经自带了相关的jar包,但是和代码中使用的版本不一致。 操作步骤 方案一: 针对jar包冲突的问题,可以确认是否不需使用三方工具的包,如果可以更改为集群相同版本的包,则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二: jar包版本修改演示
如果报错的是三方包里面的类,可能是因为Spark已经自带了相关的jar包,但是和代码中使用的版本不一致。 操作步骤 方案一: 针对jar包冲突的问题,可以确认是否不需使用三方工具的包,如果可以更改为集群相同版本的包,则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二: jar包版本修改演示