检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DBService主备节点间心跳中断 ALM-27004 DBService主备数据不同步 ALM-27005 数据库连接数使用率超过阈值 ALM-27006 数据目录磁盘空间使用率超过阈值 ALM-27007 数据库进入只读模式 ALM-29000 Impala服务不可用 ALM-29004 Impalad进程内存占用率超过阈值
default_cluster ClickHouse逻辑集群名称,保持默认值。 databaseName testdb 样例代码工程中需要创建的数据库名称,可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称,可以根据实际情况修改。 batchRows
resource.memory-mb”设置380G,那么该参数设置为128。 8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程(数据库、HBase等)外,剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。 参数 描述 默认值 yarn.nodemanager.resource
ClickHouse应用程序开发思路 通过典型场景,用户可以快速学习和掌握ClickHouse的开发过程,并且对关键的接口函数有所了解。 开发思路 ClickHouse作为一款独立的DBMS系统,使用SQL语言就可以进行常见的操作。以下开发程序示例中,全部通过clickhouse-jdbc
指导用户基于Java语言,实现MRS集群中的ClickHouse的数据表创建、删除以及数据的插入、查询等操作。 本工程中包含了建立服务端连接、创建数据库、创建数据表、插入数据、查询数据及删除数据表等操作示例。 Flink 开启Kerberos认证集群的样例工程目录“flink-exampl
配置Spark Native引擎 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 Spark Native引擎是通过使用向量化的C++加速库,实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据,通过JVM的codegen来实现查询加速的,由于
任务或者HDFS操作。 图1 Hive结构 Metastore:对表,列和Partition等的元数据进行读写及更新操作,其下层为关系型数据库。 Driver:管理HQL执行的生命周期并贯穿Hive任务整个执行期间。 Compiler:编译HQL并将其转化为一系列相互依赖的Map/Reduce任务。
FileTime)、删除目录(deleteCatalogTime)所用的时间。 表分区个数 Hive所有表分区个数监控,返回值的格式为:数据库#表名,表分区个数。 HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计,展示的信息包括:用户、HQL语句、Map数目。
索引块)中使用的内存,单位:字节 state.backend.rocksdb.metrics.num-snapshots true 监测数据库未发布快照的数量 state.backend.rocksdb.metrics.num-live-versions true 监测实时版本的
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。
Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi Python3开发环境的基本配置,可以通过该模块使用Java的JDBC来连接数据库。 准备运行环境 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平
之间来回切换。 约束与限制 当前操作仅适用于集群新发放,需切换调度器场景。 切换调度器期间,请勿对该集群执行操作,防止由于切换过程中修改数据库导致操作失败。 对系统的影响 切换调度器过程中,由于要重启Resource Manager,因此切换期间向Yarn提交任务会失败。 切换调
Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi Python3开发环境的基本配置,可以通过该模块使用Java的JDBC来连接数据库。 准备运行环境 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平
角色后,告警将自动恢复。 ALM-12006 节点故障 ALM-12010 Manager主备节点间心跳中断 ALM-12039 OMS数据库主备不同步 ALM-14000 HDFS服务不可用 ALM-14010 NameService服务异常 ALM-14012 Journalnode数据不同步
含“;”。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 database 否 String 参数解释: 执行SQL所在的数据库。 约束限制: 不涉及 取值范围: 不涉及 默认取值: default archive_path 否 String 参数解释: SQL执行
添加hive自定义属性:hive.non-managed-table-writes-enabled=true。 Mppdb有一个限制,数据库的标识符的最大长度为63,如果把标识符命名超过了最大长度,那么会被自动截取掉超出的部分,只留下最大长度的标识符。 跨域场景不支持建表。 描述
任务或者HDFS操作。 图1 Hive结构 Metastore:对表,列和Partition等的元数据进行读写及更新操作,其下层为关系型数据库。 Driver:管理HQL执行的生命周期并贯穿Hive任务整个执行期间。 Compiler:编译HQL并将其转化为一系列相互依赖的Map/Reduce任务。
select name, partition, active, path from system.parts where database = '数据库名' and table= '表名' and active = 1; 图10 冷热数据查询结果 当前系统时间为2024年4月份,examp
3/loader-tool/job-config/”目录下的“sftp-to-hdfs.xml”文件,连接器的配置如下: <!-- 连接数据库的信息 --> <sqoop.connection name="vt_sftp_test" type="sftp-connector"> <connection
3/loader-tool/job-config/”目录下的“sftp-to-hdfs.xml”文件,连接器的配置如下: <!-- 连接数据库的信息 --> <sqoop.connection name="vt_sftp_test" type="sftp-connector"> <connection