检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最多支持20个标签。 每个资源中的键不能重复,同一个键中值不能重复。 无tag过滤条件时返回全量数据。 matches 否 Array of objects 搜索字段。 请参考matches。 表4 tags 参数 是否必选 参数类型 描述 key 是 String 键。 标签的键的最大长度为12
者“程序包”的所有者。 如果创建程序包时没有选择分组,则不显示该参数。 用户名 程序包所有者的名称。 说明: 该用户名称是已存在的IAM用户名称。 单击“确定”修改完成。 父主题: 管理Jar作业程序包
删除路由(废弃) 功能介绍 该API用于删除不需要的路由。 当前接口已废弃,不推荐使用。推荐使用删除路由。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v2.0/{project_id}/datasource/enhanced-co
与上游链接算子的并行度保持一致。 properties.* 否 (none) String 该选项可以传递任意的 Kafka 参数。 选项的后缀名必须匹配定义在 kafka参数文档中的参数名。 Flink会自动移除选项名中的 "properties." 前缀,并将转换后的键名以及值传入
S表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括:创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已创建OBS的桶。具体OBS操作可以参考《对象存储服务用户指南》。本指导中的OBS桶名都为“dli-test-021”。
key 的现有行都被覆盖。另外,value 为空的消息将会被视作为 DELETE 消息。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
ult”的数据库。 删除数据库 DLI提供删除数据库的接口。您可以使用该接口删除数据库。示例代码如下: 1 2 3 4 5 6 7 8 //调用Database对象的deleteDatabase接口删除数据库, //其中Database对象通过调用对象DLIClient的getDatabase(String
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建路由,自定义增强型跨源连接的下一跳的路由信息为127.0.0.0。 { "name": "route", "cidr": "127.0.0.0" } 响应示例 {
是 String 用户指定安全组ID,即为需要建立连接的服务所在的安全组。 network_id 是 String 对应服务的子网网络ID,即为需要建立连接的服务所在的子网。 url 是 String 对应服务对外提供的访问url。长度不能超过512个字符。获取方式请参考表4。 tags
String 连接ID,用于标识跨源连接的UUID。 destination 否 String 创建连接时,用户填写的队列的访问地址。 state 否 String 连接状态,具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度,显示0.0至1.0代表0%至100%。
续查看作业日志。 创建的HBase结果表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING
为每个Reader设置不同的Server ID 每个用于读取Binlog的MySQL客户端都应该有一个唯一的Server ID,确保MySQL服务器能够区分不同的客户端并维护各自的Binlog读取位置。 如果不同的作业共享相同的Server ID,可能会导致从错误的Binlog位置读取数据,从而引发数据不一致的问题。
enable”,并设置为“true”,并重启kafka。 登录MRS集群的Manager,下载用户凭据:“系统设置 > 用户管理” ,单击用户名后的“更多 > 下载认证凭据”。 根据用户凭据生成相应的truststore.jks文件,并将用户凭据以及truststore.jks文件传入OBS中。
test1', 'passwdauth' = 'xxx', 'encryption' = 'true'); 客户的RDS数据库为PostGre集群,url的协议头填写错误导致。 处理步骤 修改url为'url'='jdbc:postgresql://to-rds-1174405119-oLRHAGE7
JSON函数 JSON函数使用SQL标准的ISO/IEC TR 19075-6中描述的JSON路径表达式。它们的语法受到ECMAScript的启发并采用了ECMAScript的许多特性,但既不是其子集,也不是其超集。 路径表达式有两种,一种是宽松模式,另一种是严格模式。当省略时,
); TBLPROPERTIES允许用户通过键值对的方式(属性名和属性都必须是单引号或双引号包裹的字符串),添加或修改连接器支持的表属性,以Hive连接器为例: TBLPROPERTIES ("transactional"="true") ,可能的取值为[true,false] TBLPROPERTIES
架构规划企业项目,将分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建队列时选择企业项目,本节操作为您介绍DLI队列资源如何绑定、修改企业项目。 当前仅支持对未加入弹性资源池的队列资源修改企业项目。 前提条件 在
入。 方法三:数据老化,按照业务逻辑分析大的维度表是否可以通过数据老化清理无效的维度数据从而降低数据规模。 数据量非常小的事实表 这种可以在预估很长一段时间的数据增长量的前提下使用非分区表预留稍宽裕一些的桶数来提升读写性能。 确认表内桶数 Hudi表的桶数设置,关系到表的性能,需要格外引起注意。
业运行日志。 方法二:如果在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对
在sink算子前是否按指定的主键进行分区。 该参数旨在解决多并发写入的场景下且write.mode为upsert时,如果多个子任务中写入sink的一批数据具有不止一条相同的主键,并且主键相同的这些数据先后顺序不一致,就会导致两个子任务在向DWS根据主键获取行锁时发生互锁的问题。 示例 该示