正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 使用Spark小文件合并工具说明 配置流式读取Saprk
开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST
开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST
HDFS写文件失败,报错“item limit of xxx is exceeded” 问题背景与现象 客户端或者上层组件日志报往HDFS的某目录写文件失败,报错为: The directory item limit of /tmp is exceeded: limit=5 items
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 解决步骤 向管理员申请该Topic的访问权限。 如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka >
CarbonData故障排除 当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory.MemoryException
节点管理类 MRS集群内节点的操作系统是什么? 升级Master节点规格需要关机吗? MRS是否支持变更MRS集群节点? 如何查询MRS节点的启动时间? MRS集群内节点互信异常如何处理? MRS集群是否支持调整Master节点规格? MRS集群内节点的sudo log能否清理?
Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行job public void start(String
MRS租户管理中的动态资源计划页面无法刷新怎么办? 问: MRS租户管理中的动态资源计划页面无法刷新怎么办? 答: 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程
删除Doris表 以Java JDBC方式执行SQl语句删除集群中的dbName.tableName表。 String dropSql = "drop table " + dbName + "." + tableName; public static void execDDL(Connection
删除Doris表 以Java JDBC方式执行SQl语句删除集群中的dbName.tableName表。 String dropSql = "drop table " + dbName + "." + tableName; public static void execDDL(Connection
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended
创建Doris数据库 以Java JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。 String createDatabaseSql = "create database if not exists " + dbName; public static void
采集数据时报错HoodieException 问题 数据采集时报错: com.uber.hoodie.exception.HoodieException: created_at(Part -created_at) field not found in record. Acceptable
手动配置Yarn任务优先级 操作场景 集群的资源竞争场景如下: 提交两个低优先级的应用Job 1和Job 2。 正在运行中的Job 1和Job 2有部分task处于running状态,但由于集群或队列资源容量有限,仍有部分task未得到资源而处于pending状态。 提交一个较高优先级的应用
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://spark.apache.org/docs/3.1.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell 提供了一个简单学习
比较函数和运算符 比较操作 操作 描述 < 小于 > 大于 <= 小于等于 >= 大于等于 = 等于 <> 不等于 != 不等于 范围比较:between between适用于值在一个特定的范围内,如:value BETWEEN min AND max Not between适用于值不在某个特定范围内
Spark从HBase读取数据再写入HBase样例程序(Java) 场景说明 假定HBase的table1表存储用户当天消费的金额信息,table2表存储用户历史消费的金额信息。 现table1表有记录key=1,cf:cid=100,表示用户1在当天消费金额为100元。 table2