检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
重置DBService数据库omm用户密码 操作场景 MRS集群中DBService数据库omm用户的默认密码为随机密码,建议定期重置DBService数据库omm用户的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.2.0-LTS.1及之后的版本,MRS 3.2.0-LTS
blocks: 0 当HDFS使用容量达到100%时,通过HDFS参数“dfs.datanode.du.reserved.percentage”修改百分比来控制具体的磁盘占比。 登录Manager进入服务配置页面。 MRS Manager界面操作入口:登录MRS Manager,依次选择 “服务管理
产生告警的主机名。 附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例内存占用率过高。 处理步骤 处理Kudu实例异常 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”页面,找到“ALM-29104
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过
(可选)创建MapReduce样例工程 准备安全认证 如果您使用的是安全集群,需要进行安全认证。 配置MapReduce应用安全认证 根据场景开发工程 提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 开发MapReduce应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。
ager页面登录、查看功能。 可能原因 随机端口范围配置被修改。 处理步骤 检查系统当前的随机端口范围。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。
txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 若将数据文件放置于HDFS,需指定程序中读取文件路径HDFS路径,例如"hdfs://hacluster/path/to/file"。
于匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息,其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区,将给出指定分区的文件系统信息,而不是分区所在表的文件系统信息。 参数说明 IN | FROM schema_name
FORMAT CSV" < /opt/data 数据表需提前创建好。 CSV格式数据导出 导出数据为CSV格式的文件,可能存在CSV注入的安全风险,请谨慎使用。 clickhouse client --host 主机名/ClickHouse实例IP地址 --database 数据库名 --port
txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 若将数据文件放置于HDFS,需指定程序中读取文件路径HDFS路径,例如"hdfs://hacluster/path/to/file"。
txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 或将数据文件放置于HDFS,并指定程序中读取文件路径HDFS路径,例如"hdfs://hacluster/path/to/file"。
txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 或将数据文件放置于HDFS,并指定程序中读取文件路径HDFS路径,例如"hdfs://hacluster/path/to/file"。
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过
具有简洁易懂的特性,推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分,Spark的API接口如表1所示。 表1 Spark API接口 接口 说明 Scala API 提供Scala语言的API。由于Scala语言的简洁易懂,推荐用户使用Scala接口进行程序开发。
查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度,充分利用集群机器的计算能力。 任务的并行度可以通过以下四种层次(按优先级从高到低排列)指定,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。
M”E或“TIMESTAMP”时,需指定特定时间格式,其他字段类型指定无效。时间格式如:“yyyyMMdd HH:mm:ss”。 长度:配置字段长度,字段值太长则按配置的长度截取,类型为“CHAR”时实际长度不足则空格补齐,类型为“VARCHAR”时实际长度不足则不补齐。 map
FORMAT CSV" < /opt/data 数据表需提前创建好。 CSV格式数据导出 导出数据为CSV格式的文件,可能存在CSV注入的安全风险,请谨慎使用。 clickhouse client --host 主机名/ClickHouse实例IP地址 --database 数据库名 --port
原因分析 该报错是由于作业运行时间过长,查看Yarn WebUI页面全量日志时需要展示的日志过大,导致报500内部错误。此时需要把作业生成的聚合日志调小,使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim
M”E或“TIMESTAMP”时,需指定特定时间格式,其他字段类型指定无效。时间格式如:“yyyyMMdd HH:mm:ss”。 长度:配置字段长度,字段值太长则按配置的长度截取,类型为“CHAR”时实际长度不足则空格补齐,类型为“VARCHAR”时实际长度不足则不补齐。 map
修改Kerberos管理员用户密码 如果当前为MRS 3.x及之后版本,修改此用户密码将同步修改OMS Kerberos管理员密码。 登录集群节点。 MRS 3.x及之后版本:以root用户通过节点IP地址登录安装了客户端的节点。 MRS 2.x及之前版本:登录Master1节点。