检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“数据湖探索管理控制台>SQL编辑器”页面,单击编辑窗口右上角“设置”,可配置参数。
max_cu 否 Integer 配置的最大CU数。 min_cu 否 Integer 配置的最小CU数。 actual_cu 否 Integer 当前实际的CU数。 cidr_in_vpc 否 String 弹性资源池的子网信息。
为了避免数据丢失或者数据被覆盖,开启作业异常自动重启,需要配置为“从checkpoint恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡,比如10分钟。 使用HDFS时需要绑定相应的跨源,并填写相应的主机信息。
若读取DIS,且配置groupId,则需要提前在DIS的“App管理”中创建所需的App名称。
配置示例:obs://bucket-name/dir 响应参数 状态码: 200 表3 响应Body参数 参数名称 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。
由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
依赖的pom配置文件内容参考如下: <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>
deploy-mode 否 standalone String redis集群的部署模式,支持standalone、master-replica、cluster,默认standalone。 该值可参考redis集群的实例类型介绍。
配置文件或者环境变量中密文存放,使用时解密,确保安全。
配置文件或者环境变量中密文存放,使用时解密,确保安全。
LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
响应示例如下,例如DLI服务部署的区域为“cn-north-4”,相应消息体中查找“name”为“cn-north-4”,其中projects下的“id”即为项目ID。
完整示例代码 通过DataFrame API 访问 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
配置示例:obs://bucket-name/dir/savepoint/ 响应参数 状态码: 200 表3 响应Body参数 参数名称 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。
* 如果找不到分区的偏移量,那么将会使用配置中的 auto.offset.reset 设置。
图11 查看路由表目的地址-1 检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护,检查对应子网是否配置了ACL,是否设置了ACL规则限制了网络访问。
默认值:英文反斜杠(\) 仅在数据格式为csv格式时支持配置转义字符。 在导出结果中如果需要包含特殊字符,如引号本身,可以使用转义字符(反斜杠 \ )来表示。 仅支持设置一个字符。
导出作业运行日志需要具有OBS桶的权限,请提前在“全局配置 > 工程配置”页面配置DLI作业桶。 default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 仅Spark作业支持使用自定义镜像。了解自定义镜像。
由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
内容填空表示清除所有已配置的主机信息。 表3 hosts请求参数 参数名称 是否必选 参数类型 说明 name 否 String 自定义主机名称。长度128,数字字母下划线("_")横杠("-")句点(".")组成,字母开头。 ip 否 String 主机对应的IPv4地址。