检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
se连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行,可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没有声明主键,HBase连接器默认取rowkey作为主键。详情可参考HBase SQL
12abc 或 **.12)。 支持跨账号导出数据,即,如果B账户对A账户授权后,A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限,以及路径的读写权限,则A账户可将数据导出至B账户的OBS路径中。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。
最多支持20个标签。 每个资源中的键不能重复,同一个键中值不能重复。 无tag过滤条件时返回全量数据。 matches 否 Array of objects 搜索字段。 请参考matches。 表4 tags 参数 是否必选 参数类型 描述 key 是 String 键。 标签的键的最大长度为12
否 Array of Strings 该模块包含的资源包名列表。 description 否 String 模块描述。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 请求示例 无 响应示例 {
该字段对应的值作为redis的hash数据类型的value。而当使用map时,会将flink中该字段值的key作为redis的hash数据类型的field,该字段值的value作为redis hash数据类型的value。其具体示例如下: 对于fields: 创建的Flink作业运行脚本如下:
项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 待描述的表所在的数据库名称。 table_name 是 String 待描述表的名称。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success
创建队列的用户。 create_time 否 Long 创建队列的时间。单位为“毫秒”的时间戳。 queue_type 否 String 队列的类型,。 sql general all 如果不指定,默认为“sql”。 cu_count 否 Integer 与该队列绑定的计算单元数,即当前队列的CU数。
务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DLI服务,
详细的DLI创建数据库的语法可以参考创建DLI数据库。 create database testdb; 后续章节操作都需要在testdb数据库下进行操作。 DataSource和Hive两种语法创建OBS表的区别 DataSource语法和Hive语法主要区别在于支持的表数据存
是 String 标签的键。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_
OBS表必选参数。 data_path 否 String 新增OBS表数据的存储路径,必须是OBS的路径。 说明: OBS表必选参数。 data_path配置的OBS桶路径不建议为根目录,否则清空表数据的时候,就会把根目录内的数据全部清除,导致数据丢失。 with_column_header
导出查询结果 功能介绍 该API用于将SQL语句的查询结果导出到OBS对象存储中,只支持导出“QUERY”类型作业的查询结果。 该API为异步操作。 目前只支持导出数据到OBS中,且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号,且其中的桶名不能以正则格式“.[0-9]+(.*)”结尾,即,若桶名包含“
建进度。 步骤2:创建数据源与CDM的数据连接 本例以MySQL数据源为例,介绍创建数据源与CDM的数据连接的操作步骤。 进入CDM主界面,单击左侧导航上的“集群管理”,找到步骤1:创建CDM集群章节创建的集群“cdm-aff1”。 单击CDM集群后的“作业管理”,进入作业管理界面。
确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DLI服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。DLI支持的API授权项请参见《权限策略和授权项》。 表1 DLI系统权限
ttl时,缓存中最先添加的条目将被标记为过期。缓存中的记录可能不是最新的,用户可以将Lookup.cache.ttl设置为一个更小的值以获得更好的刷新数据,但这可能会增加发送到数据库的请求数。所以要做好吞吐量和正确性之间的平衡。 默认情况下,Flink会缓存主键的空查询结果,您可以通过将Lookup
该字段对应的值作为redis的hash数据类型的value。而当使用map时,会将flink中该字段值的key作为redis的hash数据类型的field,该字段值的value作为redis hash数据类型的value。其具体示例如下: 对于fields: 创建的Flink作业运行脚本如下:
基于简化使用的角度,针对大数据量的表,可以通过采用Bucket索引来避免状态后端的复杂调优。 如果Bucket索引+分区表的模式无法平衡Bueckt桶过大的问题,还是可以继续采用Flink状态索引,按照规范去优化对应的配置参数即可。 建议 基于Flink的流式写入的表,在数据量超
典型场景示例:配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景,例如DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接,采用对等连接的方式打通DLI与目的数据源的VPC网络,实现数据互通。
数据库服务器 单击输入框旁边的“选择”按钮,选择当前已创建的DWS集群名称。 端口 DWS数据库的端口,默认为:8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。该数
[catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)]; 描述 这个表达式用于列出指定的的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12', ds = 12);