检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SparkContext(conf) //具体的任务 ... 如果不添加SparkContext.stop,YARN界面会显示失败。如图1,同样的任务,前一个程序是没有添加SparkContext.stop,后一个程序添加了SparkContext.stop()。 图1 添加SparkContext.stop()和不添加的区别
和 “--enable-az-aware”这两个选项自由组合来选用副本分配策略。注意:使用“--enable-az-aware”选项的前提是服务端开启了跨AZ特性,即服务端启动参数“az.aware.enable”为“true”,否则会执行失败。 “--bootstrap-ser
URI GET /v1.1/{project_id}/job-exes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表2 Query参数
参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。
实例”。查看任意一个Broker角色实例的业务IP地址。例如获取到的IP为“192.168.20.36”。 Kafka集群端口号安全模式下是21007,普通模式下是9092。 客户端ID:可以在登录Kafka客户端后执行以下命令,查看返回结果中“CLIENT-ID”参数值进行获取。例如获取到的客户端ID为“clientA”。
导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作:
--hive-partition-value 导入数据库指定分区 --hive-home 指定hive安装目录 --hive-import 表示操作是从关系型数据库导入到hive中 --hive-overwrite 覆盖hive已有数据 --create-hive-table 创建Hive
} } } LOG.info("Exiting createIndex."); } 新创建的二级索引默认是不启用的,如果需要启用指定的二级索引,可以参考如下代码片段。该代码片段在com.huawei.bigdata.hbase.examples包
} } } LOG.info("Exiting createIndex."); } 新创建的二级索引默认是不启用的,如果需要启用指定的二级索引,可以参考如下代码片段。该代码片段在com.huawei.bigdata.hbase.examples包
路读依赖“/var/run/FusionInsight-HDFS”目录(“dfs.domain.socket.path”),该目录默认权限是750。而当前Linux用户没有权限操作该目录。 上述问题可通过执行以下方法解决: 方法一:创建新用户(推荐使用)。 通过Manager页面
SQLDefender: Distributed DDL ALTER UPDATE queries are undesirable. ... 如果防御规则设置的是拦截,则命令执行失败,系统回显信息如下: ... DB::Exception: Distributed DDL ALTER TABLE UPDATE
dir}设置了输出目录,因此在yarn-cluster模式执行任务不会报FileNotFoundException异常。 处理方法: 注:下面所说的$SPAKR_HOME默认是/opt/client/Spark/spark 解决方案1:手动切换日志配置文件。修改文件$SPARK_HOME/conf/spark-defaults
enabled”的值设置为“false”。 单击“保存”在弹出窗口单击“确定”。 针对MRS 3.x之前版本,请单击“保存配置”在弹出窗口单击“是”。 选择“概览 > 更多 > 重启服务”,重启Hive服务,输入密码开始重启服务。 针对MRS 3.x之前版本,请在“服务状态”页签选择“更多
可通过设置Kafka服务配置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的安全认证。下表是四种协议类型的简单说明: 协议类型 说明 默认端口 PLAINTEXT 支持无认证的明文访问 获取参数“port”的值,默认为9092 SASL_PLAINTEXT
路读依赖“/var/run/FusionInsight-HDFS”目录(“dfs.domain.socket.path”),该目录默认权限是750。而当前Linux用户没有权限操作该目录。 上述问题可通过执行以下方法解决: 方法一:创建新用户(推荐使用)。 通过Manager页面
Integer> person) throws Exception { //根据第二列性别,筛选出是female的记录 Boolean isFemale = person._2().equals("female");
submitTopologyAs(StormSubmitter.java:219) 业务提交拓扑时使用的认证用户为stream,但是在拓扑提交过程中提示submit user是无效用户,表明内部校验失败。 查看提交的拓扑运行Jar,发现包含keytab文件。 查看user.keytab文件,发现principal为zmk_kafka。
选择“更多 > 启动所有实例”。 选择“集群 > HDFS”,在“概览”页签的“基本信息”模块查看“丢失块数”是否为“0”。 “丢失块数”是为“0”,则操作完成。 “丢失块数”不为“0”,请联系华为云支持人员进行处理。 父主题: 集群管理类
r.name}/hbase-staging”(例如“/user/omm/hbase-staging”),此处“$ {user.name}”是操作系统用户名(即omm用户),客户端(kerberos用户,例如admin用户)不具备该目录的rwx权限。 上述问题可通过执行以下步骤解决:
--hive-partition-value 导入数据库指定分区 --hive-home 指定Hive安装目录 --hive-import 表示操作是从关系型数据库导入到Hive中 --hive-overwrite 覆盖Hive已有数据 --create-hive-table 创建Hive