检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群客户端如何通过AK/SK信息对接OBS MRS 1.9.2及之后的版本支持使用obs://的方式对接OBS服务，当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用obs://的方式对接OBS服务暂不支持。 该章节主要
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业，同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。 OBS支持使用KMS密钥的加解密方式对数据进行加解密，所有的加解密操作都在OBS完成，同时密钥管理在DEW服务。
使用MRS Spark SQL访问DWS表 应用场景 华为云提供MapReduce服务（MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark S
准备连接Kafka集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Kafka权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
使用DBeaver访问MRS HetuEngine 应用场景 DBeaver是一个SQL客户端和数据库管理工具。对于关系数据库，使用JDBC API通过JDBC驱动程序与数据库交互。对于其他数据库（NoSQL），使用专有数据库驱动程序。 本章节以DBeaver 7.2.0版本为例，讲解如何使用DBeaver访问MRS
准备连接Kafka集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Kafka权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
\ //指定目标表的表名，多源表更新单表时，目标表的表名必须给出。 --checkpoint 000 \ //指定一个检查点(commit时间戳)，表明从此检查点恢复Delta Streamer，000代表从头开始。 --enable-hive-sync \ --allow-fe
substr(string, start, length) → varchar 描述：从start位置开始截取字符串，截取的长度为length。 一般用于截取时间戳格式。 Select substr('2019-03-10 10:00:00',1,10); --截取到日 2019-03-10 Select
-u,--url Sqoop服务URL option verbose 冗余模式，表示打印更多的信息 poll-timeout 设置轮询超时时间 示例： set option --name verbose --value false set server --host 10.0.0
-u,--url Sqoop服务URL option verbose 冗余模式，表示打印更多的信息 poll-timeout 设置轮询超时时间 示例： set option --name verbose --value false set server --host 10.0.0
使用FineBI访问MRS HetuEngine 应用场景 FineBI是一款商业智能产品，针对企业信息化遇到的困难，为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例，讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出
materialized.view.rewrite.timeout：物化视图的重写超时控制（单位：秒），推荐5s。物化视图重写时会消耗一定的时间，添加该参数可限制重写所带来的性能损耗，物化视图重写超时后会执行原始SQL。 若使用Session级别开启物化视图功能，并需要开启物化视图重写超时控制，可先执行set
定字段。 Spark输入：SparkSQL表输入步骤，配置SparkSQL表的列定义到指定字段。仅支持存取Hive数据。 转换类型 长整型时间转换：长整型日期转换步骤，配置长整型数值与日期的转换。 空值转换：空值转换步骤，配置指定值替换空值。 随机值转换：随机数据生成步骤，配置新增值为随机数据的字段。
准备Spark连接集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Spark2x权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
定字段。 Spark输入：SparkSQL表输入步骤，配置SparkSQL表的列定义到指定字段。仅支持存取Hive数据。 转换类型 长整型时间转换：长整型日期转换步骤，配置长整型数值与日期的转换。 空值转换：空值转换步骤，配置指定值替换空值。 随机值转换：随机数据生成步骤，配置新增值为随机数据的字段。
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。
离线数据加载：通过Spark视图读取Hive外表数据并写入Doris 应用场景 通过Spark视图读取Hive外表数据写入到Doris，并按照Unique指定字段自动去重。 方案架构 离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工
Kafka用户权限说明 操作场景 在启用Kerberos认证的集群中，用户使用Kafka前需要拥有对应的权限。MRS集群支持将Kafka的使用权限，授予不同用户。 Kafka默认用户组如表1所示。 Kafka支持两种鉴权插件：“Kafka开源自带鉴权插件”和“Ranger鉴权插件”。
分区下文件总大小 maxFileSize 最大文件大小 minFileSize 最小文件大小 lastAccessTime 最后访问时间 lastUpdateTime 最后更新时间 例子 curl -ik -u : --negotiate http://10.64.35.144:9111/tem
Flink安全认证机制说明 Flink认证和加密 Flink集群中，各部件支持认证。 Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeprer进行Kerberors认证。 Flink集群内部各部件之间，如Flink client和JobMa
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
