检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字符串函数和运算符 字符串运算符 ||表示字符连接 SELECT 'he'||'llo'; –hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效，对于无效的UTF-8数据，函数可能会返回错误的结果。可以使用
HDFS日志介绍 日志描述 日志存储路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。 NameNode：“/var/log/Bigdata/hdfs/nn”（运行日志），“/var/log/Bigdata/audit/hdfs/nn”（
添加HBase的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HBase用户配置HBase表和列族，列的权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin
ClickHouse本地表设计 规则 单表（分布式表）的记录数不要超过万亿，对于万亿以上表的查询，性能较差，且集群维护难度变大。单表（本地表）不超过百亿。 表的设计都要考虑到数据的生命周期管理，需要进行TTL表属性设置或定期老化清理表分区数据。 单表的字段建议不要超过5000列。
HBase Java API接口介绍 HBase采用的接口与Apache HBase保持一致，请参见http://hbase.apache.org/apidocs/index.html。 新增或修改的接口 HBase 0.98.3建议使用org.apache.hadoop.hbase.Cell
Flink日志介绍 日志描述 日志存储路径： Flink作业运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日志存储在以上路径中
HBase日志介绍 日志描述 日志存储路径：HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。 HMaster：“/var/log/Bigdata/hbase/hm”（运行日志），“/var/log/Bigdata/audit/hbase/
添加HBase的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HBase用户配置HBase表和列族，列的权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin
MRS集群默认权限信息说明 角色 默认角色 描述 Manager_administrator Manager管理员，具有Manager所有权限。 可创建一级租户，可创建、修改新的用户组，指定用户权限，以满足不同用户对系统的管理需求。 Manager_operator Manager
Spark应用开发简介 Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取
HBase日志介绍 日志描述 日志存储路径：HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。 HMaster：“/var/log/Bigdata/hbase/hm”（运行日志），“/var/log/Bigdata/audit/hbase/
MRS 2.1.0.9补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.9 发布时间 2020-08-21 解决的问题 MRS 2.1.0.9 修复问题列表： MRS Manager 解决MRS Executor内存溢出问题 优化扩容流程 解决sparkSql
MRS 2.1.0.10补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.10 发布时间 2020-09-21 解决的问题 MRS 2.1.0.10 修复问题列表： MRS Manager 解决安装补丁后扩容会导致capacity-schedule.xml中新增的队列配置丢失问题
MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明 补丁基本信息 表1 补丁基本信息 解决的问题 补丁号：MRS 1.9.0.10 发布时间：2023-01-17 修复问题列表： MRS大数据组件 OBSA支持流控重试 补丁号：MRS 1.9.0.9 发布时间：2022
快速购买MRS集群 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 本章节以HBase查询集群为例介绍如何快速购买一个MRS集群。HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能优异、可伸缩
Spark应用开发简介 Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算
Spark应用开发简介 Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算
查看MRS集群告警 用户可以在MRS上查看、清除告警。一般情况下，告警处理后，系统自动清除该条告警记录。当告警不具备自动清除功能且用户已确认该告警对系统无影响时，可手动清除告警。在MRS界面可查看最近十万条告警（包括未清除的、手动清除的和自动清除的告警）。如果已清除告警超过十万条达到十一万条
Storm日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径：Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”（运行日志），“/var/log/Bigdata/audit/storm/角色名”（审计日志）。 Nimbus
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
