检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行判断（默认值: false） 支持 支持通配符路径，但不支持以逗号分隔的多个路径。 文件必须以原子方式放置在给定的目录中，这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host：连接的节点ip，必填 port：连接的端口，必填 不支持 - Rate
行判断（默认值: false） 支持 支持通配符路径，但不支持以逗号分隔的多个路径。 文件必须以原子方式放置在给定的目录中，这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host：连接的节点ip，必填 port：连接的端口，必填 不支持 - Rate
Niemeyer发明的公共域地理编码系统，它将地理位置编码为一串由字母和数字组成的短字符串。它是一种分层的空间数据结构，把空间细分为网格形状的桶，是被称为Z阶曲线和通常称为空间填充曲线的许多应用之一。 点在多维中的Z值是简单地通过交织其坐标值的二进制表示来计算的，如下图所示。使用Geohash创建GeoID
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程
string 是 无 数据处理规则 将字段值输出到ClickHouse表中。 样例 通过“CSV文件输入”算子，生成十二个字段。 源文件如下： 创建ClickHouse表的语句如下： CREATE TABLE IF NOT EXISTS testck4 ON CLUSTER default_cluster(
storage_table：指定存储表的表名。 need_auto_refresh： 管理计算实例时，预先创建维护实例后，可通过设置need_auto_refresh为true，创建具备自动刷新能力的物化视图，它会自动创建并提交物化视图刷新任务，在此基础上，可对refresh_duration，star
如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 添加组件自定义参数对系统的影响 配置服务属性后，如果服务状态为“配置过期”，则需要重启此服务，重启期间无法访问服务。 配置HBase、HDFS、Hive、Spar
及之后的补丁版本中diskmgt服务会检测EVS磁盘(受diskmgt服务监控的磁盘)容量是否增加，如果有增加将则会进行该磁盘下分区(单个分区独占磁盘容量)容量和文件系统的扩容，达到自动扩充磁盘分区存储容量的能力。 安装完成后必须的手动操作 MRS 3.1.5.0.1版本的补丁安装/卸载完成后需要在FusionInsight
数据规划 在kafka中生成模拟数据（需要有Kafka权限用户） 确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics
MRS是否支持升级集群内组件的内核版本？ 答： MRS不支持单独升级集群内组件的内核版本，如需体验新版本MRS集群所支持组件的特性内容，建议删除当前集群之后重新创建集群。 MRS组件版本信息请参见MRS组件版本一览表。 父主题： 升级补丁类
CDL任务配置了Topic Table Mapping，未配置WhiteList参数，该任务所配置的Schema的CDL任务未同步的表过多，导致CDL任务名称创建时分区过多。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > CDL”，单击“CDLService U
针对avro格式表查询报错，根本原因是avro格式表schema不匹配导致，需要考虑增量和存量avro格式表查询两个场景： 增量avro格式表，需要创建表之前设置参数spark.sql.forceConvertSchema.enabled=true，会将avro表格式强转指定数据类型，一次性修改schema。
Niemeyer发明的公共域地理编码系统，它将地理位置编码为一串由字母和数字组成的短字符串。它是一种分层的空间数据结构，把空间细分为网格形状的桶，是被称为Z阶曲线和通常称为空间填充曲线的许多应用之一。 点在多维中的Z值是简单地通过交织其坐标值的二进制表示来计算的，如下图所示。使用Geohash创建GeoID
vaExample.jar）复制到Linux环境的Flink运行环境下（即Flink客户端），如“/opt/client”。然后在该目录下创建“conf”目录，将需要的配置文件复制至“conf”目录，具体操作请参考准备运行环境，运行Flink应用程序。 在Linux环境中运行Fl
1.2及以后版本集群。 步骤一：创建MRS集群和计算实例 创建MRS集群。 创建并购买一个包含HetuEngine组件的MRS集群，详情可参考创建MRS集群。 创建hetu_user用户。 在集群中创建“人机”用户，如hetu_user，可参考创建HetuEngine用户。启用R
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上，然后切换到omm用户下，在/home/omm目录下创建fair-scheduler.xml、llama-site.xml文件。 打开fair-scheduler.xml文件，添加如下配置。 <allocations>
修改Kafka Topic配置 操作场景 用户可以根据业务需要，使用集群客户端创建Kafka Topic。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。 安全模式下，KafkaUI对修改Topic Con
tition接口将rdd并发写入HBase表中。 数据规划 在客户端执行：hbase shell命令进入HBase命令行。 使用下面的命令创建HBase表： create 'table2','cf1' 开发思路 将要导入的数据构造成RDD。 以HBaseContext的方式操作H
的方式去操作HBase，使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造需要遍历的HBase表中rowkey的RDD。 使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
