检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--+ 解决方法 删除旧的索引表。 DROP INDEX TEST_TABLE_INDEX ON TEST_TABLE; 异步方式创建新的索引表。 CREATE INDEX TEST_TABLE_INDEX ON TEST_TABLE(ACCOUNT1,DATE,NUM,ACCOUNTDES
t/hudimor1_deltastreamer_partition的Hudi表同步为Hive表,表名为table hive_sync_test3,使用unite、country和state为分区键,命令示例如下: run_hive_sync_tool.sh --partitioned-by
用非标准格式的时间指定分区查询表统计失败以及show partitions table结果编码不对。 执行desc formatted test_hive_orc_snappy_internal_table partition(a='2016-8-1 11:45:5'); 查询报错,如下所示:
--+ 解决方法 删除旧的索引表。 DROP INDEX TEST_TABLE_INDEX ON TEST_TABLE; 异步方式创建新的索引表。 CREATE INDEX TEST_TABLE_INDEX ON TEST_TABLE(ACCOUNT1,DATE,NUM,ACCOUNTDES
产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB持续触发写限流,主要反应的是Flink作业的CheckPoint的性能,对Flinkserver本身没有影响。 可能原因 Flink作业写RocksDB的速
产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB的Level0层SST文件数持续超过阈值,主要反应的是Flink作业的CheckPoint的性能,对FlinkServer本身没有影响。 可能原因 Flink作业Rock
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 用户名 产生告警的用户名。 对系统的影响 当同一个用户连接数太多时,产生告警的用户将无法与Broker建立新的连接。 可能原因 客户端使用同一个用户建立的连接个数超过设定阈值。
Catalog存储路径下的位置,例如“obs://lakeformation-test/hive/default”(需提前创建),单击“确定”。 其他参数根据实际需要进行配置。 在“数据权限 > 数据授权”页面,可根据业务需求对hive Catalog进行基于用户、用户组的授权。详细操作请参考新增授权章节。
准备Hive HCatalog开发环境 为了运行Hive组件的HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程 获取Hive示例工程。 在Hive示例工程根目录,执行mvn
Scala样例代码 功能介绍 在Spark应用中,通过使用StructuredStreaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Flume证书文件已过期,功能受限,Flume客户端将无法访问Flume服务端。 可能原因 Flume证书文件已过期。 处理步骤
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 用户提交的Spark任务执行失败。 可能原因 KrbServer服务异常。 LdapServer服务异常。 ZooKeeper服务异常。
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响JobHistory2x进程运行的性能,甚至造成JobHistory2x进程不可用,进程不可用时仅会造成无法查询Spark任务历史执行记录。
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响IndexServer2x进程运行的性能,甚至造成IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC次数超出阈值,会影响IndexServer2x进程运行的性能,甚至造成IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 非堆内存溢出可能导致服务崩溃。 可能原因 该节点UserSync实例非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务不可用,可能影响该IoTDBServer进程无法正常提供数据读写服务。 可能原因 节点IoTDBServ
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。 可能原因 该节点TokenServer实
作业。 队列名称 提交作业用户绑定的资源队列的名称。 作业提交时间 记录作业提交的开始时间。 作业结束时间 记录作业执行完成或手工停止的时间。 操作 对当前作业执行相关操作,请参考管理MRS集群作业。 查看MRS作业日志 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的