检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0和MRS 3.1.2版本。 登录备集群的FusionInsight Manager。 选择“集群 > 服务 > HDFS”,选择“更多 > 下载客户端”。“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”。
选择集群版本。 是否安全版本 是,安全集群选择是。需要输入访问用户名和上传用户凭证; 否,非安全集群选择否。 访问用户名 访问用户需要包含访问集群中服务所需要的最小权限。 “是否安全版本”选择“是”时存在此参数。 客户端配置文件 集群客户端配置文件,格式为tar。 用户凭据 FusionInsight
m样例工程。 用WinScp工具将Storm客户端安装包导入Linux环境并安装客户端,参见准备Linux客户端环境。 如果集群启用了安全服务,需要从管理员处获取一个“人机”用户,用于认证,并且获取到该用户的keytab文件。将获取到的文件拷贝到示例工程的 src/main/resources目录。
告警属性 告警ID 告警级别 是否自动清除 12180 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 如果IO持续飙高,会对业务操作产生影响,导致业务受损。
val resultValue = hbase1Value.toInt + hbase2Value.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
on 10-196-115-2 (694/153378) 单个任务运行时间超过6分钟,从而导致连接超时问题,最终使得任务失败。 将参数中的核数设置为1,“--executor-cores 1”,任务正常完成,单个任务处理时间在合理范围之内(15秒左右)。 16/02/29 02:24:46
记录该告警定位信息中的“HostName”的IP地址为IP1(若出现多个告警,则分别记录其中的IP地址为IP1,IP2,IP3等)。单击“服务管理 > LdapServer > 服务配置”,记录LdapServer的端口号为PORT(若告警定位信息中的IP地址为oms备节点IP地址,则端口号为默认端口21750)。
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。 如果您使用的安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。
day, MOD(HASH_CODE(user_id), 1024) ) GROUP BY day 多流join场景建议join字段设置为主键 如果join字段不为主键,会导致Flink shuffle task按照hash进行数据处理,导致在Flink中无法保序。同时状态后端中同一个join
hive."default".t1; SELECT查询 SELECT id FROM hive."default".t1; 在Session级别设置相应的catalog和schema,而不是在查询中传递完全限定的名称 以指定catalogname为“hive”,schemaname为“default”为例:
告警”页面下“告警”、“事件”的查看权限。 System_administrator 系统管理员,具有Manager的管理员权限及所有组件服务管理员的权限。 default 为集群default租户创建的默认角色。拥有Yarn组件default队列的管理权限。非首个安装集群的de
// 初始化用户自定义状态 public UDFState() { count = 0L; } // 设置用户自定义状态 public void setState(long count) { this.count = count;
语句,执行3。 使用spark-beeline运行SQL语句,执行4。 执行SQL语句时,需要添加参数“--driver-memory”,设置内存大小,例如: /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql
学习,即可快速地进行业务开发。 功能丰富:CQL除了包含标准SQL的各类基本表达式等功能之外,还特别针对流处理场景增加了窗口、过滤、并发度设置等功能。 易于扩展:CQL提供了拓展接口,以支持日益复杂的业务场景,用户可以自定义输入、输出、序列化、反序列化等功能来满足特定的业务场景
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 Flink样例工程介绍 MRS样例工程获取地址为https://github
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github.c
本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务,保证HDFS数据的高可靠;
该用户的“user.keytab”文件与“krb5.conf”文件。 选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端配置文件压缩包为“FusionI
replication.exclude.pattern配置项设置单副本的数据文件和目录。 支持EVS磁盘分区容量扩容。 MRS 3.1.5.0.3 及之后的补丁版本中diskmgt服务会检测EVS磁盘(受diskmgt服务监控的磁盘)容量是否增加,如果有增加将则会进行该磁盘下分区(