检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询MRS集群版本可用的规格 功能介绍 查询MRS集群版本可用的规格 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/metadata/version/{version_name}/available-flavor 表1 路径参数 参数 是否必选
从ogg同步数据到Hudi时，ogg Source配置的Task值与任务实际运行的Task数量不一致 现象描述 执行从ogg同步数据到Hudi的CDL任务时，源端（ThirdKafka）中指定的“tasks.max”值与任务实际运行的Task数量不一致。 例如，在CDL WebU
Windows本地hosts文件存放路径举例：“C:\WINDOWS\system32\drivers\etc\hosts”。 场景二：准备Linux环境运行程序所需配置文件。 在节点中安装MRS集群客户端。 例如客户端安装目录为“/opt/client”。 获取配置文件： 登录FusionInsight
overwrite table tableName select * from srcTable; 全部重写。 覆写全表。 Bulk_insert 批量导入 SparkSQL： set hoodie.datasource.write.operation = bulk_insert; set hoodie
int(dataArr[2])))\ .collect() df = sqlCtx.createDataFrame(inputRDD) # 注册表 df.registerTempTable("FemaleInfoTable") # 执行SQL查询并显示结果
ZooKeeper和HBase的关系所示。 图1 HBase和ZooKeeper的关系 HRegionServer以Ephemeral node的方式注册到ZooKeeper中。其中ZooKeeper存储HBase的如下信息：HBase元数据、HMaster地址。 HMaster通过ZooK
int(dataArr[2])))\ .collect() df = sqlCtx.createDataFrame(inputRDD) # 注册表 df.registerTempTable("FemaleInfoTable") # 执行SQL查询并显示结果
配置示例（为了方便观察，此模型使用了netcat tcp作为Source源，logger作为Sink）。配置好如下参数后，在Linux的配置的主机节点上执行Linux命令“telnet 主机名或IP 44444”，并任意敲入符合正则和不符合正则的字符串。会在日志中观察到，只有匹配到的字符串被传输了。
用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。 表2 ApplicationMasterProtocol常用方法 方法 说明 allocate(AllocateRequest
class JDBCbyKerberosExample { /** * 安全模式下，“SSL_ENABLE”默认为“true”，需要导入truststore.jks文件。 * 安全模式下，也可登录FusionInsight Manager，选择“集群 > 服务 > IoTDB
return femaleInfo; } }); // 注册表。 Dataset<ROW> schemaFemaleInfo = spark.createDataFrame(femaleInfoJavaRDD
供超快速响应。从根本上说，CarbonData是一个OLAP引擎，采用类似于RDBMS中的表来存储数据。用户可将大量（10TB以上）的数据导入以CarbonData格式创建的表中，CarbonData将以压缩的多维索引列格式自动组织和存储数据。数据被加载到CarbonData后，
部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume
SQLContext(sc) import sqlContext.implicits._ //通过隐式转换，将RDD转换成DataFrame，然后注册表 sc.textFile(args(0)).map(_.split(",")) .map(p => FemaleInfo(p(0)
getOrCreate() import spark.implicits._ //通过隐式转换，将RDD转换成DataFrame，然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p
可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 准备Linux环境运行程序所需配置文件。 在节点中安装MRS集群客户端。例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。
Windows本地hosts文件存放路径举例：“C:\WINDOWS\system32\drivers\etc\hosts”。 场景二：准备Linux环境运行程序所需配置文件。 在节点中安装MRS集群客户端。 例如客户端安装目录为“/opt/client”。 获取配置文件： 登录FusionInsight
keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服
return femaleInfo; } }); // 注册表。 Dataset<ROW> schemaFemaleInfo = spark.createDataFrame(femaleInfoJavaRDD
组件分开部署，避免资源争抢。 创建自定义拓扑集群 文件管理 用户通过“文件管理”页面可以在分析集群进行文件夹创建、删除，文件导入、导出、删除操作，暂不支持文件创建功能。 导入：MRS目前只支持将OBS上的数据导入至HDFS中。上传文件速率会随着文件大小的增大而变慢，适合数据量小的场景下使用。 导出：数据完成
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
