检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ,则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。 如果 watermark 的间隔是 0ms ,那么每条记录都会产生一个
name String 模板名称。 body Object 模板内容。详细信息参考表5。 group String 模板所在分组名。 description String 模板描述信息。 language String 语言。 owner String 模板创建者。 请求示例 无 响应示例
否 String 更新后SQL模板文本。 sql_name 否 String 更新后SQL模板名称,该名称在当前工程下必须唯一。 description 否 String SQL模板的描述信息,可以为空。 group 否 String SQL模板分组信息。 响应参数 表3 响应参数说明
账号B测试弹性资源池与VPC中资源的网络连通性。 若共享VPC下已有资源,请确保该资源所在的安全组已放通弹性资源池的网段。 获取共享VPC下数据源的私有内网IP和端口。 以RDS数据源为例:在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取RDS内网地址。查
成功返回200。 响应参数 表2 响应参数说明 参数 是否必选 参数类型 说明 create_time 是 Long 创建集群的时间。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String
"1 2",ab Spark 3.3.1 "a b",,"1 2",ab 新增支持自适应Skip partial agg功能的配置 说明: Spark3.3.x版本中新增支持自适应Skip partial agg功能,即当Partial Agg效果不佳时,可以直接跳过,避免Partial
强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数 是否必选 参数类型 描述 description 否 String 描述信息。长度限制:256个字符以内。 max_cu 否 Integer 弹性资源池的最大CU数。 min_cu
作业语义检验时提示DIS通道不存在怎么处理? 处理方法如下: 登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的
新建模板 功能介绍 该API在DLI服务中新建一个用户模板,最多100个。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明 参数名称
"https://bucketname.obs.cn-north-1.myhuaweicloud.com/jarname.jar"; String description = "test for sdk"; // 调用DLIClient对象的uploadResources方法上传资源 List<PackageResource>
参数 参数类型 说明 lang String 语言。 name String 样例模板名称。 sql String 样例模板内容。 description String 样例模板描述。 group String 样例模板分组。 请求示例 无 响应示例 { "is_success":
于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DLI服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。DLI支持的API授权项请参见《权限策略和授权项》。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系
对象存储OBS结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以
BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据score及name两个字段对表student进行分组,并返回分组结果。 1 2 insert into temp SELECT name,score, max(score)
BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据score及name两个字段对表student进行分组,并返回分组结果。 1 2 insert into temp SELECT name,score, max(score)
BY的所有字段分组,所有字段都相同的记录将被放在同一组中。 注意事项 GroupBy在流处理表中会产生更新结果 示例 根据score及name两个字段对表student进行分组,并返回分组结果。 1 2 insert into temp SELECT name,score, max(score)
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完
sql_id String SQL模板ID。 sql_name String SQL模板名称。 sql String SQL模板文本。 description String SQL模板描述信息。 owner String SQL模板的创建者。 group String SQL模板分组名称。
orc.compression.codec GZIP orc.row.index