检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若使用到hdfs的配置文件，则需要将core-site.xml、hdfs-site.xml、yarn-site.xml 修改为mrs-core-site.xml、mrs-hdfs-site.xml、mrs-hbase-site.xml conf.addResource(HBaseUtil.class.getClassLoader
表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
默认值为“-1”，表示无限次数。 checkpoint_path 否 String 用户Jar中checkpoint的储存地址，不同作业路径需要保持不同。 tags 否 Array of Objects Flink jar作业的标签。具体请参考表3。
在“数据湖探索管理控制台>SQL编辑器”页面，单击编辑窗口右上角“设置”，可配置参数。
配置文件或者环境变量中密文存放，使用时解密，确保安全。
若读取DIS，且配置groupId，则需要提前在DIS的“App管理”中创建所需的App名称。
为了避免数据丢失或者数据被覆盖，开启作业异常自动重启，需要配置为“从checkpoint恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。 使用HDFS时需要绑定相应的跨源，并填写相应的主机信息。
配置示例：obs://bucket-name/dir/savepoint/ 响应参数 状态码： 200 表3 响应Body参数 参数名称 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。
依赖的pom配置文件内容参考如下： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>
由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。
配置文件或者环境变量中密文存放，使用时解密，确保安全。
完整示例代码 通过DataFrame API 访问 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
auto.purge：本例配置为true，即删除或者覆盖的数据会不经过回收站，直接被删除。
LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。
deploy-mode 否 standalone String redis集群的部署模式，支持standalone、master-replica、cluster，默认standalone。 该值可参考redis集群的实例类型介绍。
内容填空表示清除所有已配置的主机信息。 表3 hosts请求参数 参数名称 是否必选 参数类型 说明 name 否 String 自定义主机名称。长度128，数字字母下划线("_")横杠("-")句点(".")组成，字母开头。 ip 否 String 主机对应的IPv4地址。
* 如果找不到分区的偏移量，那么将会使用配置中的 auto.offset.reset 设置。
默认值：英文反斜杠（\） 仅在数据格式为csv格式时支持配置转义字符。 在导出结果中如果需要包含特殊字符，如引号本身，可以使用转义字符（反斜杠 \ ）来表示。 仅支持设置一个字符。
导出作业运行日志需要具有OBS桶的权限，请提前在“全局配置 > 工程配置”页面配置DLI作业桶。 default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 仅Spark作业支持使用自定义镜像。了解自定义镜像。
由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
