检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip获取Spark样例数据到本地。 将下载的“detail-records.zip”解压,获取图3所示的样例数据。 图3 样例数据 进入“input”文件夹,单击“上传文件”,选择本地存放的Spark样例数据。
an。 异步clean可以使用spark-sql来执行。 更多clean相关参数请参考compaction&cleaning配置章节。 父主题: 数据管理维护
Jar包冲突报错ClassCastException类型转换异常 如何设置开源Flink中的znode存储目录 DGC方式如何创建Flink Hive Sql作业 父主题: Flink应用开发规范
r)rScanner).getClusterId()); } 客户端支持打印metric信息 “log4j.properties”文件中增加如下内容,客户端将metric信息输出到指定文件。 log4j.logger.DUAL=debug,DUAL log4j.appender
--zookeeper {zkQuorum}/kafka --replication-factor 1 --partitions 1 --topic {Topic} 启动Kafka的Producer,向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径,详细路径由用户指
用来运行或者调试Spark开源社区中的自带的example。 示例:执行SparkPi。 ./run-example SparkPi 100 父主题: Spark常用API介绍
e2); } } } LOG.info("Exiting testSelect."); } 父主题: HBase数据读写样例程序
e2); } } } LOG.info("Exiting testSelect."); } 父主题: HBase数据读写示例程序
values(1, 'aaa'); insert into h3(id, name, price) select 2, 'bbb', 12.5; 父主题: 使用Hudi
API概览 MRS提供的符合RESTful API的设计规范的接口,如表1和表2所示。如何选择不同版本的接口请参见API版本选择建议。 MRS版本演进过程中逐步废弃部分接口,具体请参见表3。 表1 V2接口 接口 功能 API URI 集群管理接口 创建集群 POST /v2/{
pyflink-example 提供Python读写Kafka作业和Python提交SQL作业的样例。 相关业务场景介绍请参见PyFlink样例程序。 父主题: Flink开发指南(安全模式)
pyflink-example 提供Python读写Kafka作业和Python提交SQL作业的样例。 相关业务场景介绍请参见PyFlink样例程序。 父主题: Flink开发指南(普通模式)
Spark2x多主实例 Spark2x多租户 Spark2x与其他组件的关系 Spark2x开源新特性说明 Spark跨源复杂数据的SQL查询优化 父主题: 组件介绍
Spark on Hudi表数据维护规范 Spark并发写Hudi建议 Spark读写Hudi资源配置建议 Spark On Hudi性能调优 父主题: Hudi应用开发规范
myhuaweicloud.com/MRS_Common_Script/MRS_3.0.5.1_Patch_All_20210724.tar.gz 父主题: MRS集群补丁说明
Bulkload和Put应用场景有哪些 install构建HBase Jar包失败报错Could not transfer artifact如何处理 父主题: HBase开发指南(普通模式)
info("Inert all batch time is {} ms", allBatchEnd - allBatchBegin); 父主题: 开发ClickHouse应用
info("Inert all batch time is {} ms", allBatchEnd - allBatchBegin); 父主题: 开发ClickHouse应用
使用Spark2x(MRS 3.x及之后版本) Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
_jvm.AvroSource().execute(spark._jsc) # 停止SparkSession spark.stop() 父主题: Spark读取HBase表样例程序