检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据业务需求确定是否要创建具有ClickHouse管理员权限的角色。 ClickHouse管理员权限为:除去对user/role的创建、删除和修改之外的所有数据库操作权限。 对于用户和角色的管理,仅有ClickHouse的内置用户clickhouse具有权限。 是,执行3。 否,执行4。
MRS集群创建过程中,Ranger启动失败,Manager进程任务列表里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息。 回答 该现象可能出现在安装两个RangerAmdin实例的场景下。 启动失败后,请先手动重启一
nodemanager.remote-app-log-dir 在默认文件系统上(通常是HDFS),指定NM应将日志聚合到哪个目录。 logs 777 yarn.nodemanager.remote-app-log-archive-dir 将日志归档的目录。 - 777 yarn.app.mapreduce
件。 log4j.logger.DUAL=debug,DUAL log4j.appender.DUAL=org.apache.log4j.RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本
在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
<= columnCount; i++) { stringBuffer.append(md.getColumnName(i)); stringBuffer.append(" "); } logger.info(stringBuffer
<= columnCount; i++) { stringBuffer.append(md.getColumnName(i)); stringBuffer.append(" "); } logger.info(stringBuffer
权限的用户,如需在页面上进行相关操作,例如创建Topic,需同时授予用户相关权限,请参考Kafka用户权限说明。 第一次访问Manager和KafkaUI,需要在浏览器中添加站点信任以继续访问KafkaUI。 使用Kafka客户端生产消费数据(MRS 3.x之前版本) 安装客户端,具体请参考安装客户端章节。
AggregateFunction; public class UdfClass_UDAF { public static class AverageAccumulator { public int sum; } public static class
AAAA":{"AppendBatchAcceptedCount":"0","EventAcceptedCount":"0","AppendReceivedCount":"0","MonTime":"0","StartTime":"1551152735503","AppendBatchReceivedCount":"0"
存储。用户在表上配置数据冷热时间分界点后,HBase会依赖用户写入数据的时间戳(毫秒)和时间分界点来判断数据的冷热。数据开始存储在热存储上,随着时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷热分界点,数据可以从热存储到冷存储,也可以从冷存储到热存储。 图1 HBase冷热分离原理图
单击,按照界面提示填写参数。 图1 创建实例组 表1 实例组配置参数 参数名 说明 组名称 实例组名称只能包含字母、数字、下划线(_)、中划线(-)和空格,仅以字母、数字、下划线(_)或中划线(-)开头,只能在中间包含空格,并且不能超过99个字符。 角色 表示实例组包含哪个角色的实例。 复制源
需要以“/”或“s3a://”开头。OBS路径不支持KMS加密的文件或程序。 Spark Script需要以“.sql”结尾,MapReduce和Spark Jar需要以“.jar”结尾,sql和jar不区分大小写。 默认取值: 不涉及 input 否 String 参数解释: 数据输入地址。 约束限制: 不涉及
id”文件仍然存在,则会触发append /system/balancer.id操作,进而导致Balance操作失败。 如果“/system/balancer.id”文件的释放时间超过了软租期60s,则第二次执行Balance操作的客户端的append操作会抢占租约,此时最后一个block处于under
以没有读取到HIVE_UNION_SUBDIR目录下的数据。 处理步骤 在集群详情页面选择“组件管理 > Presto > 服务配置”。 切换“基础配置”为全部配置“。 在左侧导航处选择“Presto > Hive”,在“catalog/hive.properties”文件中增加“hive
Policy”,为1新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如,为用户组“obs_hadoop1”添加“obs://OBS并行文件系统名称/hadoop1”的“Read”和“Write”权限: 图2 为新建用户组赋予OBS路径读和写的权限 父主题: MRS集群服务对接OBS示例
Spark2x常见问题 Spark Core SQL和DataFrame Spark Streaming 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错
参数 描述 默认值 yarn.app.mapreduce.am.resource.mb 该参数值必须大于下面参数的堆大小。单位:MB 1536 yarn.app.mapreduce.am.command-opts 传递到MapReduce ApplicationMaster的JVM启动参数。
t$1.apply$mcV$sp(DStreamCheckpointData.scala:125) at org.apache.spark.streaming.dstream.DStreamCheckpointData$$anonfun$writeObject$1.apply(D
修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行2.a。 检查备DBService状态是否正常 登录备DBService节点。 执行以下命令切换用户: sudo su - root su - omm 进入“${DBSERVER_HOME}/sbin”目录,然后执行命令./status-dbserver