检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /hiveserver/hiveserver.out HiveServer运行环境信息日志
fetchShuffleBlocksInBatch 是否批量取连续的shuffle块。对于同一个map任务,批量读取连续的shuffle块可以减少IO,提高性能,而不是逐个读取块。注意,只有当spark.sql.adaptive.enabled和spark.sql.adaptive
<name>HBASE_ZK_SSL_ENABLED</name> <value>true</value> </property> 执行以下命令创建Hive表。 可以在Hue UI里Hive面板里面直接输入以下的SQL语句。 图1 执行Hive SQL CREATE DATABASE test; CREATE
使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行26。 否,执行12。 使用mkdir 数据目录命令创建该目录,查看是否可以创建成功。 是,执行24。 否,执行13。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看是否存在告警“ALM-12017
fetchShuffleBlocksInBatch 是否批量取连续的shuffle块。对于同一个map任务,批量读取连续的shuffle块可以减少IO,提高性能,而不是逐个读取块。 注意:只有当spark.sql.adaptive.enabled和spark.sql.adaptive
名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /hiveserver/hiveserver.out HiveServer运行环境信息日志
-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Broker日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。 controller
WebUI登录地址。 使用获取到的登录地址,访问EFAK WebUI界面。 访问EFKA WebUI界面默认初始账号密码admin/123456 登录后可以查看Kafka集群监控页面、Topic监控页面、Consumer监控页面,例如: 图3 Kafka集群监控 图4 Topic监控 图5 Consumer监控
partitionpath.field 用于指定分区键,该值配合hoodie.datasource.write.keygenerator.class使用可以满足不同的分区场景。 无 hoodie.datasource.write.hive_style_partitioning 用于指定分区方式
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问安全模式集群Kafka。 Windows本地hosts文
<name>HBASE_ZK_SSL_ENABLED</name> <value>true</value> </property> 执行以下命令创建Hive表。 可以在Hue WebUI中Hive面板直接输入以下SQL创建表。 CREATE DATABASE test; CREATE TABLE IF NOT
密码由FusionInsight Manager统一控制,参考准备MRS应用开发用户,确保该用户具有操作IoTDB服务的角色权限。 本端域可以在Manager界面,选择“系统 > 域与互信 > 本端域 ”中查看。 package com.huawei.bigdata.iotdb;
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问集群Kafka。 Windows本地hosts文件存放路
yaml”文件、“log4j”和“slf4j-log4j”相关的Jar包。 使用IntelliJ IDEA远程提交新打包的Jar包。 查看是否可以在WebUI查看拓扑的详细信息和Worker日志内容。 在Manager页面修改Storm集群关于Worker启动超时参数(参数说明请参考参考信息),保存并重启Storm服务。
TRY 评估一个表达式,如果出错,则返回Null。类似于编程语言中的try catch。try函数一般结合COALESCE使用,COALESCE可以将异常的空值转为0或者空,以下情况会被try捕获: 分母为0 错误的cast操作或者函数入参 数字超过了定义长度 不推荐使用,应该明确以上异常,做数据预处理
Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下,票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。 下载并安装HBase客户端程序。
ngs.xml”文件,覆盖至“<本地Maven安装目录>/conf/settings.xml”文件即可。 如果不想覆盖Maven配置文件,可以参考以下方法手动修改“settings.xml”配置文件或者组件样例工程中的“pom.xml”文件,配置镜像仓地址。 配置方法一:修改“settings
直接重启 重启时正在运行的任务将失败,重启期间无法提交新任务。 直接重启耗时约10分钟。 滚动重启 滚动重启时运行在重启实例上的任务将失败,可以向其他节点提交任务。 10个节点耗时约50分钟。 Flume 直接重启 停止期间数据流中断,启动后恢复。 直接重启耗时约5分钟。 滚动重启
描述:使用replacement替换目标字符串中满足正则表达式的子串。如果replacement中包含'$'字符,使用'\$' 进行转义。在替换中,可以对编号组使用$g引用捕获组,对命名组使用${name}引用捕获组。 SELECT regexp_replace('1a 2b 14m','(\d+)([ab])
名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /fe/fe.out 标准/错误输出的日志(stdout和stderr)