检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理？ 出于安全考虑，MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级，导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。
ALM-19012 HBase系统表目录或文件丢失 告警解释 系统按120秒周期性检测HBase在HDFS上的如下目录和文件是否存在，当检测到文件或者目录不存在时，上报该告警。当文件或目录都恢复后，告警恢复。 检查内容： 命名空间hbase在HDFS上的目录。 hbase.version文件。
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的
锁。 extend：在整个执行快照期间都持有全局读锁，阻塞全部写入操作。 none: 无锁模式，要求启动CDL任务期间不能有schema的变更。 可选参数，单击显示该参数。 none WhiteList 待抓取表的白名单。 配置需要抓取的表的名单列表，多个表可以用英文逗号分隔，支持通配符。
快速购买MRS集群 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 本章节以HBase查询集群为例介绍如何快速购买一个MRS集群。HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能优异、可
Doris数据查询规范 该章节主要介绍Doris数据查询时需遵循的规则和建议。 Doris数据查询规则 在数据查询业务代码中建议查询失败时进行重试，再次下发查询。 in中常量枚举值超过1000后，必须修改为子查询。 禁止使用REST API（Statement Execution
开发和部署HetuEngine Function Plugin 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine Function Plugin的具体步骤。 MRS 3.2.1及以后版本，需要基于JDK17
ALM-14000 HDFS服务不可用 告警解释 系统每60秒周期性检测NameService的服务状态，当检测到所有的NameService服务都异常时，就会认为HDFS服务不可用，此时产生该告警。 至少一个NameService服务正常后，系统认为HDFS服务恢复，告警清除。
配置MRS集群外节点用户访问普通模式集群资源 操作场景 集群安装为普通模式时，各组件客户端不支持安全认证且无法使用kinit命令，所以集群外的节点默认无法使用集群中的用户，可能导致在这些节点访问某个组件服务端时用户鉴权失败。 如果需要在集群外节点以组件用户身份访问集群资源，管理员
概述 “数据导入”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS服务中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS。
开发Hive用户自定义函数 当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。 按实现方式，UDF分为有如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。
ClickHouse表字段设计 规则 不允许用字符类型存放时间或日期类数据，尤其是需要对该日期字段进行运算或者比较的时候。 不允许用字符类型存放数值类型的数据，尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要获取的数据的rowKey构造成rdd，然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要获取的数据的rowKey构造成rdd，然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
配置Hadoop数据传输加密 设置安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道是加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。
HA方案和设置ThriftServer连接的超时时间。 ThriftServer HA方案，当ThriftServer主节点发生故障时，备节点能够主动切换为主节点，为集群提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。 连接HA模式下的ThriftServer，连接字符串
omm:wheel ${BIGDATA_DATA_HOME}/data2 -R。 在Manager管理界面，单击指定的NodeManager实例并切换到“实例配置”。 将配置项“yarn.nodemanager.local-dirs”或“yarn.nodemanager.log-dirs”修改为新的目标目录。
启动停止MRS集群组件 用户可以根据需要对MRS集群内的服务组件进行停止操作，停止后组件将不再对外提供服务。 停止不再使用或异常的服务。 启动操作状态为“已停止”、“停止失败”或“启动失败”的服务，以重新使用该服务。 重启异常或配置过期的服务，以恢复或生效服务功能。 前提条件 如
distinct出现次数超过2就进行“提示”的规则。 图1 添加Spark SQL防御规则 登录安装有Spark客户端的节点，执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令，配置环境变量。 source bigdata_env source
添加Ranger权限策略 新安装的MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，Ranger管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。 目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
