检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
备份ClickHouse元数据 操作场景 为了确保ClickHouse集群中的元数据安全，或者集群用户需要对ClickHouse进行重大操作（如升级或迁移等）时，需要对ClickHouse集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。
配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置， 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 通过绑定委托
加密HFile和WAL内容 缺省情况下，HBase中的HFile和WAL（Write ahead log）内容是不加密的。如果用户需要对其进行加密，可通过该章节操作进行配置。 设置HFile和WAL为SMS4加密或AES加密方式对系统的影响较大，一旦操作失误会导致数据丢失，不推荐使用此功能。
CarbonData Segment API语法说明 本章节描述Segment的API以及使用方法，所有方法在org.apache.spark.util.CarbonSegmentUtil类中。 如下方法已废弃： /** * Returns the valid segments
Spark On Hudi性能调优 优化Spark Shuffle参数提升Hudi写入效率 开启spark.shuffle.readHostLocalDisk=true，本地磁盘读取shuffle数据，减少网络传输的开销。 开启spark.io.encryption.enable
Java样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase。
ALM-27004 DBService主备数据不同步 告警解释 DBService主备数据不同步，每10秒检查一次主备数据同步状态，如果连续6次查不到同步状态，或者同步状态不正常，产生告警。 当同步状态正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27004 紧急
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
作业无法提交如何定位？ 问题背景与现象 通过DataArts Studio或者在MRS管理控制台无法提交作业。 问题影响 作业无法提交，业务中断。 处理步骤 确认异常来源。 查看作业日志中收到的错误码，确认错误码是属于APIG还是MRS。 若是公共APIG的错误码（APIG的错误
删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg
删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg
启用MRS集群间拷贝功能 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用，复制数据的集群双方都需要配置。 管理员可以根据以下指导，在Manager修改参数以启用集群间拷贝功能，启用
CarbonData Segment API语法说明 本章节描述Segment的API以及使用方法，所有方法在org.apache.spark.util.CarbonSegmentUtil类中。 如下方法已废弃： /** * Returns the valid segments
运行SparkSql作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个SparkSql作业。 SparkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。
准备Hive应用开发和运行环境 准备开发环境 Hive组件可以使用Java（JDBC和HCatalog）、Python、Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。 表1 JDBC/Hcatalog开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。
ALM-12006 节点故障 告警解释 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程，如果连续三次重启失败，产生该告警。 当Controller可以正常接收时，告警恢复。
Scala样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取数据，然后把数据经过分析后，找到对应的HBase表记录，再写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
在本地Windows环境中调测Spark应用 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。
Spark从HBase读取数据再写入HBase样例程序开发思路 场景说明 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。 现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100元。 table2表有记录key=1
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
