检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Loader从SFTP服务器导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SFTP
使用Loader从FTP服务器导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从FTP服务器导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 获取FTP服务器使用的用户和密码，且该用户具备FTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀
使用Loader从HDFS/OBS导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取
配置并导入JDBC样例工程 操作场景 为了运行Doris组件的JDBC接口样例代码，需要完成下面的操作。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\doris-examples”目录下的样例工程文件夹“doris-jdbc-example”。 导入样例工程到
ALM-19009 HBase服务进程直接内存使用率超出阈值 告警解释 系统每30秒周期性检测HBase服务直接内存使用状态，当检测到HBase服务直接内存使用率超出阈值（最大内存的90%）时产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除
ClickHouse日志介绍 日志描述（MRS 3.2.0及之后版本） 日志路径：ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouse运行相关日志：“/var/log/Bigdata/clickhouse
使用Loader从HDFS导出数据到MOTService 操作场景 本章节适用于MRS 3.3.0及之后版本。 在MOTService中需要根据表中数据版本字段对表进行更新操作，MOTService外部表不支持Upsert语句，您可以使用Loader将文件从HDFS导出到MOTService
运行SparkSubmit作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个SparkSubmit作业。 Spark是一个开源的并行数据处理框架，能够帮助用户简单、快速的开发，统一的大数据应用，对数据进行离线处理、流式处理、交互式分析等
创建CDL数据比较任务作业 操作场景 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态，比对结果会上传到HDFS目录。 数据比对目前仅支持基本数据类型比对
Storm-HBase开发指引 操作场景 本章节只适用于Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HBase组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境
Spark从HBase读取数据再写入HBase样例程序（Scala） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase
运行HadoopStream作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个HadoopStream作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据
配置Ranger安全区信息 Ranger支持配置安全区，Ranger管理员可将各组件的资源切分为多个安全区，由对应Ranger管理员用户为区域的指定资源设置安全策略，以便更好的细分资源管理。安全区中定义的策略仅适用于区域中的资源，服务的资源被划分到安全区后，非安全区针对该资源的访问权限策略将不再生效
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务，并至少有一个实例可连接客户端。在Linux
ALM-43007 JobHistory2x进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测JobHistory2x进程非堆内存使用状态，当检测到JobHistory2x进程非堆内存使用率超出阈值（最大内存的95%）时产生该告警。 MRS 3.3.0-LTS及之后的版本中
ALM-45426 ClickHouse服务在ZooKeeper的数量配额使用率超过阈值 告警解释 告警模块按60秒周期检测ClickHouse服务在ZooKeeper的数量配额使用百分比，当检测到使用百分比超过阈值（90%），系统产生此告警。 当系统检测到使用百分比低于阈值，且告警处理完成时
CarbonData CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎
ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种角色
修改MRS集群组件运行用户密码 建议用户定期修改MRS集群组件运行用户的密码，以提升系统运维安全性。 MRS 2.x及之前版本： 如果初始密码由系统随机生成，需要直接重置密码。 修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证凭据并替换旧凭据。 MRS 3.x及之后版本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
