检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark Streaming对接Kafka可靠性 配置场景 Spark Streaming对接Kafka时，当Spark Streaming应用重启后，应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的
数据存储 MRS集群节点仅用于存储用户业务数据，非业务数据建议保存在对象存储服务或其他弹性云服务器中。 MRS集群节点仅用于运行MRS集群内服务，其他客户端应用程序、用户业务程序建议申请独立弹性云服务器部署。
配置对接Kafka可靠性 配置场景 Spark Streaming对接Kafka时，当Spark Streaming应用重启后，应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。 Kafka服务的topic
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用，用于管理企业雇员信息，如表1、表2所示。 开发思路 数据准备。 创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended
MRS 1.9.0.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.6 发布时间 2020-05-20 解决的问题 MRS 1.9.0.6 修复问题列表： MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS大数据组件 解决Hivese
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用，用于管理企业雇员信息，如表1、表2所示。 开发思路 数据准备。 创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended
LakeFormation概述 LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持无缝对接多种计算引擎及大数据云服务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 您可以创建一个
使用活动缓存提升HDFS客户端连接性能 操作场景 HDFS部署在具有多个NameNode实例的HA（High Availability）模式中，HDFS客户端需要依次连接到每个NameNode，以确定当前活动的NameNode是什么，并将其用于客户端操作。 一旦识别出来，当前活动的
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33
在Linux环境中调测HetuEngine应用 操作场景 在程序代码完成开发后，也可以把代码编译成jar包，上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前，需在Linux节点预安装客户端。 操作步骤 根据需要修改“jaas-zk.conf”中“KeyTab”文件在
Storm-OBS开发指引 操作场景 本章节只适用于MRS产品中Storm和OBS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm已经安装，并正常运行。 将storm-examples导入到Eclipse开发环境，请参见导入并配置Storm
使用活动缓存提升HDFS客户端连接性能 操作场景 HDFS部署在具有多个NameNode实例的HA（High Availability）模式中，HDFS客户端需要依次连接到每个NameNode，以确定当前活动的NameNode是什么，并将其用于客户端操作。 一旦识别出来，当前活动的
MRS 1.9.3.9及之后版本补丁说明 MRS 1.9.3.11补丁说明 补丁号 MRS 1.9.3.11 发布时间 2024-02-10 安装前处理 安装此补丁前，如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁，需要先卸载该补丁，
MRS 1.9.0.5补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.5 发布时间 2020-03-21 解决的问题 MRS 1.9.0.5 修复问题列表： MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题
Flink安全认证机制说明 Flink认证和加密 Flink集群中，各部件支持认证。 Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeprer进行Kerberors认证。 Flink集群内部各部件之间，如Flink client和JobManager
MRS 1.9.3.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.3.3 发布时间 2021-01-04 解决的问题 MRS 1.9.3.3 修复问题列表： MRS Manager 解决隔离节点问题 MRS大数据组件 解决Hive加载hook内存泄漏问题 MRS
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker
Impala开发示例 JDBC二次开发示例代码 以下示例代码主要功能如下。 普通(非Kerberos)模式下，使用用户名和密码进行登录，如不指定用户，则匿名登录； 在JDBC URL地址中提供登录Kerberos用户的principal，程序自动完成安全登录、建立Impala连接。
Impala开发示例 JDBC二次开发示例代码 以下示例代码主要功能如下。 普通(非Kerberos)模式下，使用用户名和密码进行登录，如不指定用户，则匿名登录； 在JDBC URL地址中提供登录Kerberos用户的principal，程序自动完成安全登录、建立Impala连接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
