检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"some-value") .getOrCreate() import spark.implicits._ //通过隐式转换，将RDD转换成DataFrame，然后注册表 spark.sparkContext.textFile(args(0)).map(_.split("
config.option", "some-value") .getOrCreate(); // 通过隐式转换，将RDD转换成DataFrame JavaRDD<FemaleInfo> femaleInfoJavaRDD = spark.read()
config.option", "some-value") .getOrCreate(); // 通过隐式转换，将RDD转换成DataFrame JavaRDD<FemaleInfo> femaleInfoJavaRDD = spark.read()
该功能适用于MRS 3.2.0-LTS.1及之后版本。 对系统的影响 转换前，需要修改TimelineServer的服务端参数“TLS_FLOAT_IP”为一个可用的浮动IP（单实例时该配置默认使用节点业务IP）。 转换过程中，依赖TimelineServer角色会出现配置过期，需要重启配置过期的实例。
算子帮助 概述 输入算子 转换算子 输出算子 关联、编辑、导入、导出算子的字段配置信息 配置项中使用宏定义 算子数据处理规则 父主题： 使用Loader
Flink对接Elasticsearch作业运行一段时间后Checkpoint失败 Flink Jar包冲突报错ClassCastException类型转换异常 如何设置开源Flink中的znode存储目录 DGC方式如何创建Flink Hive Sql作业 父主题： Flink应用开发规范
Loader算子帮助 Loader算子说明 Loader输入类算子 Loader转换类算子 Loader输出类算子 管理Loader算子的字段配置信息 Loader算子配置项中使用宏定义 Loader算子数据处理规则 父主题： 使用Loader
将日期字面量转换成日期类型的变量 select date('2020-07-25');-- 2020-07-25 from_iso8601_timestamp(string) → timestamp with time zone 将ISO 8601格式的时戳字面量转换成带时区的时戳变量
查看MRS集群运行状态 启动停止MRS集群 重启MRS集群 导出MRS集群配置参数 同步MRS集群配置 克隆MRS集群 转换MRS按需集群为包周期集群 删除MRS集群 切换MRS集群VPC子网 修改MRS集群NTP服务器 修改OMS服务配置 修改MRS集群Manager路由表 父主题：
HetuEngine SQL函数和操作符说明 HetuEngine辅助命令语法 HetuEngine预留关键字 HetuEngine数据类型隐式转换 HetuEngine样例表数据准备 HetuEngine常用数据源语法兼容性说明 父主题： 使用HetuEngine
使用“cast(id as char)”数据类型转换时，结果只截取第一位，导致数据错误。如果转换字段正好是主键字段则会丢失大量数据。 配置“table.exec.legacy-cast-behaviour=ENABLED”也可以解决转换发生错误的问题，但是不建议使用。 在Flink
UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空，表示不加后缀。 .log 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入
apReduce、Spark、Tez。 使用新的执行引擎Tez代替原先的MapReduce，性能有了显著提升。Tez可以将多个有依赖的作业转换为一个作业（这样只需写一次HDFS，且中间节点较少），从而大大提升DAG作业的性能。 Hive主要特点如下： 海量结构化数据分析汇总。 将
稀疏存储结构，当需要更高效处理时会转为密集型数据结构。P4HyperLogLog则在其整改生命周期都是密集型数据结构。如有必要，可以显式地转换cast(hll as P4HyperLogLog)。在当前数据引擎的实现中，hll的数据草图是通过一组32位的桶来存储对应的最大hash。
切换MRS集群组件Ranger鉴权 新安装的已开启Kerberos认证的集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，集群管理员可在服务页面手动停用Ranger鉴权，停
UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空，表示不加后缀。 .log 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入
UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空，表示不加后缀。 .log 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型
UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空，表示不加后缀。 .log 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型
如何切换访问MRS Manager方式？ 问： MRS 3.x版本集群，用户通过专线访问MRS Manager后，如何切换到通过EIP访问？ 答： 在集群“概览”页面，单击“前往Manager”后的，即可切换访问方式。 父主题： Web页面访问类
存中，在多次计算间重用。 RDD的生成： 从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
