检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接CSS服务配置说明 应用场景 利用Elasticsearch-Hadoop插件，完成Hive和CSS服务的Elasticsearch直接的数据交互，通过Hive外部表的方式，可以快速将Elasticsearch索引数据映射到Hive表中。 Elasticsearch-Hadoop
Flink对接云搜索服务（CSS）样例程序开发思路 场景说明 本样例实现了Flink消费一个自定义数据源，并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。 主要提供了Elasticsearch Sink的构建及参数设置方法，实现通过Flink将数据写入Elasticsearch的功能。
Flink对接云搜索服务（CSS）样例程序 Flink对接云搜索服务（CSS）样例程序开发思路 Flink对接云搜索服务（CSS）样例程序（Java） 父主题： 开发Flink应用
Flink对接云搜索服务（CSS）样例程序（Java） 功能介绍 当前基于随机数生成器实现了一个持续产生长度为4字符串的数据源用于写入数据。 样例代码 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.flink.examples。 public class
HBase同步数据到CSS为什么没有映射字段？ 问： HBase同步数据到CSS为什么没有映射字段？ 答： 从MRS的HBase同步数据到CSS服务后，整库没有映射字段，要单表才有映射的字段。 父主题： 周边生态对接类
引入jar包不正确导致Spark任务无法运行 问题现象 执行Spark任务，任务无法运行。 原因分析 执行Spark任务时，引入的jar包不正确，导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/MRS_*/install/F
写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge
如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点，具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。
定义Column的数量和类型。HBase中表的列非常稀疏，不同行的列的个数和类型都可以不同。此外，每个CF都有独立的生存周期（TTL）。可以只对行上锁，对行的操作始终是原始的。 Column 与传统的数据库类似，HBase的表中也有列的概念，列用于表示相同类型的数据。 RegionServer数据存储
描述 table_name 待删除数据的表名，支持database.tablename格式 delete statement select类型的sql语句，用于找出待删除的数据 示例 从mytable表中删除primaryKey < 100 的所有数据： call clean_data(table
Spark应用开发规则 Spark应用中，需引入Spark的类 对于Java开发语言，正确示例： // 创建SparkContext时所需引入的类。 import org.apache.spark.api.java.JavaSparkContext // RDD操作时引入的类。 import org
lib中引入第三方依赖包后，启动作业报错： ClassCastException: X Cannot be cast to X 问题原因 引入的第三方依赖包与Flink中的依赖包有冲突，第三方依赖包中的类不兼容，导致某些函数实例化失败。 解决方法 方法一：排包，排除引入的第三方jar中的冲突包，建议优先使用该方法。
MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS服务配置说明
每个消息体（记录）之间的分隔符。 kafka_schema 否 如果解析格式需要一个schema时，此参数必填。 kafka_num_consumers 否 单个表的消费者数量。默认值是：1，如果一个消费者的吞吐量不足，则指定更多的消费者。消费者的总数不应该超过topic中分区的数量，因为每个分区只能分配一个消费者。
写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge
写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge
Manager界面超时退出后无法正常登录 现象描述 MRS Manager超时退出后偶现无法正常登录访问页面。 可能原因 超时后页面的js及css文件未加载成功。 操作步骤 清除浏览器缓存。 刷新当前页面即可正常登录及访问。 父主题： 登录集群Manager常见异常问题
或无法实现的应用。 Kudu的应用场景有： 需要最终用户立即使用新到达数据的报告型应用 同时支持大量历史数据查询和细粒度查询的时序应用 使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用 Kudu与其他组件的关系 Kudu与HBase的关系： Kudu的设计参考了
与Apache Impala的紧密集成，使其成为将HDFS与Apache Parquet结合使用的更好选择。 提供强大而灵活的一致性模型，允许您根据每个请求选择一致性要求，包括用于严格可序列化的一致性的选项。 提供同时运行顺序读写和随机读写的良好性能。 易于管理。 高可用性。
与Apache Impala的紧密集成，使其成为将HDFS与Apache Parquet结合使用的更好选择。 提供强大而灵活的一致性模型，允许您根据每个请求选择一致性要求，包括用于严格可序列化的一致性的选项。 提供同时运行顺序读写和随机读写的良好性能。 易于管理。 高可用性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
