检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Core企业级能力增强 配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 配置Spark小文件自动合并 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果
eManager Web UI页面的Tracking URL打开 多个NameService环境下运行MapReduce任务失败 基于分区的任务黑名单异常如何处理 父主题: 使用MapReduce
sh /tmp 执行命令vi $CONTROLLER_HOME/sbin/controller.sh,找到JVM_ARGS=所在行,在该行的下一行添加一行新内容: JVM_ARGS="$JVM_ARGS -Dfastjson.parser.safeMode=true" 使用omm
error. 原因分析 出现该异常可能都是由于Knox线程数不足。 处理步骤 以root用户分别登录OMS主节点和备节点。 在主备OMS节点的gateway-site.xml文件中增加以下配置,适当增加线程池。 vi /opt/knox/conf/gateway-site.xml <property>
( column [, ...] ) ROLLUP ( column [, ...] ) 描述 从零个或多个表中检索行数据。 查询stu表的内容。 SELECT id,name FROM stu; 父主题: HetuEngine DQL SQL语法说明
HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse
principal="super@<系统域名>" useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.yarn.security.credentials
Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class HoodieSortExample<T extends HoodieRecordPayload>
Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class HoodieSortExample<T extends HoodieRecordPayload>
原因分析 用户登录Manager账户密码错误次数超过限制,账户被锁。 处理步骤 登录kadmin后台管理控制台。 以root用户登录安装了客户端的节点,执行以下命令,切换到客户端目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source
principal="super@<系统域名>" useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.yarn.security.credentials
binaries. 日志说明 日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase.root.logger=INFO,console log4j
点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式: export 变量名=变量值 示例: JAVA_OPTS="-Xms2G -Xmx4G
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 请求成功 400 请求失败 错误码 请参见错误码。 父主题:
clients.NetworkClient) Producer采用21005端口来访问Kafka,21005为非安全端口。 通过客户端命令查看topic的ACL权限设置信息。 [root@10-10-144-2 client]# kafka-acls.sh --authorizer-properties
点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式: export 变量名=变量值 示例: JAVA_OPTS="-Xms2G -Xmx4G
success to delete path /user/hdfs-examples 查看HDFS日志获取应用运行情况 您可以查看HDFS的namenode日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测HDFS应用
<Topic名称> --producer.config config/producer.properties 消费数据,需要拥有该Topic的消费者权限。 shkafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
<Topic名称> --producer.config config/producer.properties 消费数据,需要拥有该Topic的消费者权限。 shkafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
<Topic名称> --producer.config config/producer.properties 消费数据,需要拥有该Topic的消费者权限。 bin/kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server