检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
空值转换:将空值替换成指定值。 增加常量字段:生成常量字段。 随机值转换:生成随机数字段。 拼接转换:拼接已有字段,生成新字段。 分隔转换:将已有字段,按指定分隔符,分隔出新字段。 取模转换:对已有字段取模,生成新字段。 剪切字符串:通过指定起始位置,截取已有字符串类型的字段,生成新字段。 EL操作转换
空值转换:将空值替换成指定值。 增加常量字段:生成常量字段。 随机值转换:生成随机数字段。 拼接转换:拼接已有字段,生成新字段。 分隔转换:将已有字段,按指定分隔符,分隔出新字段。 取模转换:对已有字段取模,生成新字段。 剪切字符串:通过指定起始位置,截取已有字符串类型的字段,生成新字段。 EL操作转换
添加ClickHouse后端服务器 详细操作步骤请参考添加后端服务器。 登录MRS控制台,单击要对接的MRS集群名称。 在MRS集群页面,单击“节点管理”,在ClickHouse节点组名称下,获取ClickHouse实例节点名称和IP地址。 登录“弹性负载均衡器”控制台,单击已创建的负载均衡器名称。
处理步骤 检查JAVA_HOME目录是否存在或JAVA权限是否正确 以root用户登录故障节点IP所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令获取发生告警的Flume客户端安装目录。(AgentId可以在告警的“定位信息”中获取) ps -ef|grep AgentId
exceeded” 调整HDFS SHDFShell客户端日志级别 HDFS读文件失败报错“No common protection layer” HDFS目录配额不足导致写文件失败 执行balance失败报错“Source and target differ in block-size”
的Manager管理界面,root用户为集群内节点的操作系统管理用户,用于节点登录。 - 密码/确认密码 设置root用户和admin用户密码,该密码由用户自定义,请妥善保管。 - 企业项目 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资
enabled 开启后,当统计列信息时,会生成直方图。直方图可以提高估计准确度,但是收集直方图信息会有额外工作量。 false [true,false] spark.sql.statistics.histogram.numBins 生成的直方图的槽位数。 254 >=2 spark
enabled 开启后,当统计列信息时,会生成直方图。直方图可以提高估计准确度,但是收集直方图信息会有额外工作量。 false [true,false] spark.sql.statistics.histogram.numBins 生成的直方图的槽位数。 254 >=2 spark
创建好的租户不能直接登录集群访问资源,管理员需要通过FusionInsight Manager为已有租户创建新用户,通过绑定租户的角色继承其操作权限,以满足业务使用。 该章节操作以MRS 3.x及之后版本集群为例进行说明。 前提条件 管理员已明确业务需求,并已创建了租户。 通过管理控制台为MRS集群用户绑定租户
-m --secure --query="SELECT * FROM 表名" > csv文件导出路径 使用示例: clickhouse client --host 10.5.208.5 --database testdb --port 9440 -m --secure --query="SELECT
工程,选择“Run MultiComponentLocalRunner.main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce
查看MRS集群静态资源 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略,使集群在不同的时间段自动调整参数值,从而更有效地利用资源。 系统管理员可以在Manager查看静态服务池各个服务使用资源的监控指标结果,包含监控指标如下:
操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 本章节内容适用于MRS 3.x及后续版本。3.x之前版本请参考均衡Kafka扩容节点后数据 前提条件 MRS集群管理员已明确业务需求,并
{TIMERANGE => [0, 1568203111265]} TimeRange:查询的时间范围。范围中的时间是UNIX时间戳,表示自1970年1月1日00:00 UTC以来经过的毫秒数。 Java API 不指定HOT_ONLY参数来查询数据。在这种情况下,将会查询冷存储中的数据。
本章节内容适用于MRS 3.x之前版本。3.x及之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要)。 已安装Kafka客户端,客户端安装目录如“/opt/client”。
admin用户在Ranger中的用户类型为“User”,如需查看所有管理页面,可单击右上角用户名后,选择“Log Out”,退出当前用户。 使用rangeradmin用户(默认密码为Rangeradmin@123)或者其他具有Ranger管理员权限用户重新登录。用户及默认密码请参考MRS集群用户账号一览表。
用户对象包含两个部分信息:用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证 Kerberos认证
-m --secure --query="SELECT * FROM 表名" > csv文件导出路径 使用示例: clickhouse client --host 10.5.208.5 --database testdb --port 9440 -m --secure --query="SELECT
fs.namenode.rpc.port}/tmp/secure_ck.txt', 'TSV') nameservice的获取方式: 在FusionInsight Manager首页,选择“集群 > 服务 > HDFS > 管理NameService”,获取参数“NameServ
该报错是由于作业运行时间过长,查看Yarn WebUI页面全量日志时需要展示的日志过大,导致报500内部错误。此时需要把作业生成的聚合日志调小,使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPA