检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
jar:hetu-jdbc-*.jar com.huawei.hetu.JDBCExampleBroker 如果对接的集群开启了ZooKeeper的SSL认证,需要添加JVM参数:-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty
如果当前客户端为旧版本,需要重新下载和安装客户端。 已创建或获取访问Oozie服务的人机用户账号及密码。 该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。如果使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。
ClickHouse性能调优 数据表报错Too many parts解决方法 加速Merge操作 加速TTL操作 父主题: 使用ClickHouse
Producer API生产数据。 sh kafka-console-producer.sh --broker-list <Kafka集群IP:9092> --topic <Topic名称> --old-producer -sync Old Consumer API消费数据。 sh kafka-console-consumer
insert_overwrite_table:动态分区执行insert overwrite,该操作并不会立刻删除全表做overwrite,会逻辑上重写hudi表的元数据,无用数据后续由hudi的clean机制清理。效率比bulk_insert + overwrite 高 upsert hoodie.datasource
ore节点绑定该弹性公网IP,具体请参考申请并绑定弹性公网IP。 为MRS集群开放安全组规则。在集群Master节点和Core节点的安全组添加安全组规则使弹性云服务器可以访问集群,具体请参考配置安全组规则。 修改导入样例的“krb5.conf”中"kdc"、"admin_serv
查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题: 使用Kafka
('table_blocksize'='128'); 对于不需要高精度的度量,无需使用numeric (20,0)数据类型,建议使用double数据类型来替换numeric (20,0)数据类型,以提高查询性能。 在一个测试用例中,使用double来替换numeric (20, 0),查询时
性能监控模块,搜集每一个OMA上的性能监控数据并提供查询。 CEP 汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标。 FMS 告警模块,收集每一个OMA上的告警并提供查询。 OMM Agent OMA上面性能监控和告警的Agent,负责收集该Agent Node上的性能监控数据和告警数据。 CAS
Sqoop常见问题 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据报错 导入到Hive表时报错 父主题: 使用Sqoop
max_memory_usage = 128000000000; #128G 如果没有上述大小内存可用,ClickHouse可以通过如下设置将“溢出”数据到磁盘。建议将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍。 set
lean。 clean_hours_retained clean保留多长时间内的数据文件。 否,默认24小时。 clean_commits_retained clean保留多少commits写的数据文件。 否,默认10。 archive_policy archive使用的执行策略。
ClickHouse集群规划 ClickHouse集群业务规划 ClickHouse数据分布设计 ClickHouse容量规划设计 ClickHouse依赖服务设计 父主题: ClickHouse应用开发规范
HBase企业级能力增强 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置RSGroup管理RegionServer资源 父主题: 使用HBase
Hive常见SQL语法说明 Hive SQL扩展语法说明 自定义Hive表行分隔符 Hive支持的传统关系型数据库语法说明 父主题: 使用Hive
标准时,可能会导致用户作业运行延迟,服务页面响应缓慢等问题。严重时会导致集群节点Agent或者OMS进程运行异常,导致组件作业提交、OMS数据同步等失败。 可能原因 OMS配置同集群规模不匹配。 处理步骤 检查OMS配置同集群规模是否匹配。 打开FusionInsight Man
NodeManager关闭导致Executor(s)未移除 Password cannot be null if SASL is enabled异常 向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误
Kafka常见问题 Kafka业务规格说明 Kafka相关特性说明 基于binlog的MySQL数据同步到MRS集群中 如何解决Kafka topic无法删除的问题 父主题: 使用Kafka
Kafka常见问题 Kafka业务规格说明 Kafka相关特性说明 基于binlog的MySQL数据同步到MRS集群中 如何解决Kafka Topic无法删除的问题 父主题: 使用Kafka