检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties文件,单击“Copy Path/Reference > Absolute Path”。 事务样例工程无需执行此步骤。 图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。
在spark-beeline中创建或删除表失败 用户问题 客户在spark-beeline频繁创建和删除大量用户的场景下,个别用户偶现创建/删除表失败。 问题现象 创建表过程: CREATE TABLE wlg_test001 (start_time STRING,value INT);
执行Kafka Topic创建操作时发现Partition的Leader显示为none 问题背景与现象 在使用Kafka客户端命令创建Topic时,发现创建Topic Partition的Leader显示为none。 [root@10-10-144-2 client]# kafka-topics
准备Spark应用开发用户 前提条件 MRS服务集群开启了Kerberos认证,没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS、YARN和Hive权限,才能运行Spark样例工程。 操作步骤 登录MRS Manager,请参考登录MRS
作业管理类 MRS集群支持提交哪些形式的Spark作业? MRS节点访问OBS报错408如何处理? 如何让不同的业务程序分别用不同的Yarn队列? 提交作业失败,报错与OBS相关如何处理? MRS集群租户资源最小值为0时只能同时运行一个任务吗? 作业提交参数间用空格隔开导致参数信息不被识别如何处理?
--hive-partition-key 创建分区 --hive-partition-value 导入数据库指定分区 --hive-home 指定Hive安装目录 --hive-import 表示操作是从关系型数据库导入到Hive中 --hive-overwrite 覆盖Hive已有数据 --create-hive-table
--hive-partition-key 创建分区 --hive-partition-value 导入数据库指定分区 --hive-home 指定hive安装目录 --hive-import 表示操作是从关系型数据库导入到hive中 --hive-overwrite 覆盖hive已有数据 --create-hive-table
ALM-12052 TCP临时端口使用率超过阈值 告警解释 系统每30秒周期性检测TCP临时端口使用率,并把实际使用率和阈值(系统默认阈值80%)进行比较,当检测到TCP临时端口使用率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称
Hive SQL运行变慢阶段如何排查 场景说明 对于一个Hive SQL任务,如果运行时间突然变长,可能有多种原因造成,如HiveServer编译变慢、访问HDFS变慢、访问Yarn变慢或访问元数据变慢。 操作步骤 以下为Hive SQL在哪个阶段执行变慢的排查方法: HiveServer编译变慢
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证:通过Token认证通用请求。 AK/SK认证 AK/SK签名认证方式仅支持消息
在集群外节点运行PrestoJDBCExample缺少证书 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常,但在集群外节点运行PrestoJDBCExample连接开启Kerberos认证的集群缺少证书,报错如下:
Spark on yarn-client运行框架 Spark on yarn-client实现流程: 在yarn-client模式下,Driver部署在Client端,在Client端启动。yarn-client模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端
Spark on yarn-client运行框架 Spark on YARN-Client实现流程: 在YARN-Client模式下,Driver部署在Client端,在Client端启动。YARN-Client模式下,不兼容老版本的客户端。推荐使用YARN-Cluster模式。 客户端
持修复数据。 参与比对的CDL任务kafka lag不为0时会导致比对结果不一致。 前提条件 准备Hive UDF Jar包, 从CDL的安装目录复制“${BIGDATA_HOME}/FusionInsight_CDL_*/install/FusionInsight-CDL-*/
ats); free(buffer); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client
ats); free(buffer); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client
hdfsFileFreeReadStatistics(stats); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client
hdfsFileFreeReadStatistics(stats); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/tmp/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client
Spark on yarn-client运行框架 Spark on yarn-client实现流程: 在yarn-client模式下,Driver部署在Client端,在Client端启动。yarn-client模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端
用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 MRS部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north