检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包
使用Python提交Flink SQL作业 获取样例工程“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包
使用Python提交Flink SQL作业 获取样例工程“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置: 对于分区表,需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties:"parquet.compression
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hcatalog-example
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
TimelineServer目录文件数量到达上限 问题现象 MRS 3.x版本集群,ResourceManager日志显示TimelineServer数据目录数量到达上限打印大量错误日志。 异常日志内容如下: The directory item limit of /tmp/hadoop-omm
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hcatalog-example
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hcatalog-example
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hcatalog-example
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致? 问: 为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致? 答: 为了节约存储空间,用户修改了Yarn的配置项yarn.resourcemanager.max-completed-applications
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置: 对于分区表,需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties:"parquet.compression
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
OpenTSDB HTTP API接口介绍 OpenTSDB提供了基于HTTP或HTTPS的应用程序接口。请求方式是通过向资源对应的路径发送标准的HTTP请求,请求包含GET、POST方法。它的接口与开源OpenTSDB保持一致,请参见https://opentsdb.net/docs
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段