检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”号分隔,“,”号需要转义为“%2C”,例如:GET /v1.0/{project_id}/jobs?tags=k1%3Dv1%2Ck2%3Dv2 其中,“=”需要转义为“%3D”,“k1”为标签键1,“v1”为标签值1,“k2”为标签键2,“v2”为标签值2。 注意:当前只支持
split.size 插入写入并行度。为单个分区的总共插入次数。写出100MB的文件,至少1KB大小的记录,意味着每个文件有100K记录。默认值是超额配置为500K。 为了改善插入延迟,请对其进行调整以匹配单个文件中的记录数。将此值设置为较小的值将导致文件变小(尤其是当compactionSmallFileSize为0时)。
指定处理 Map 中 key 值为空的方法。当前支持的值有:'FAIL','DROP'和'LITERAL'。 Option 'FAIL' 将抛出异常,如果遇到 Map 中 key 值为空的数据。 Option 'DROP' 将丢弃 Map 中 key 值为空的数据项。 Option 'LITERAL'
conf' krb5.conf的地址。 'keytab'='./user.keytab' Keytab的地址。 'principal' ='krbtest' 认证用户名。 krb5.conf和keytab文件获取请具体参考开启Kerberos认证时的相关配置文件操作说明。 表参数详情可参考表1。
authSource=admin" database DDS的数据库名,如果在"url"中同时指定了数据库名,则"url"中的数据库名不生效。 collection DDS中的collection名,如果在"url"中同时指定了collection,则"url"中的collection不生效。 user (已废弃)访问DDS集群用户名。
创建分区表时,如果bucket_count为-1且建表语句中未设置buckets,则使用默认值16。 默认外部表存储位置{lakeformation_catalog_url}/{schema_name}.db/{table_name},其中{lakeformation_catalog_url}对接的lakeformation
"obs://bucket/path/h1"; 注意事项 首先需要执行clean命令,在clean命令清理了历史的数据文件后,Timeline上与清理的数据文件对应的Instant才允许归档。 不管是否进行compaction操作,至少会保留hoodie.compact.inline
04-x86_64-uid1000-20230308194728-68791b4 请按需更换地址中的Region名称后使用 例如,新加坡区域的endpoint为ap-southeast-3.myhuaweicloud.com 拼接后的基础镜像地址为:swr.ap-southeast-3.myhuaweicloud
page-size 否 Long 结果行数,范围: [1, 1000]。默认值为:1000。 queue-name 否 String 指定获取作业结果的执行队列名称。若不指定则使用默认的系统队列。 带入query参数的URL示例如下: GET /v1.0/{project_id}/jobs/{job_id}/preview
径是文件将导致导入数据失败。 当OBS的目录下有同名文件夹和文件时,数据导入指向该路径会优先指向文件而非文件夹。 说明: 路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。
打包Flink jar作业jar包时,为避免包信息冲突,不需要上传系统已有的内置依赖包。 内置依赖包请参考DLI内置依赖包。 其他依赖文件 用户自定义的依赖文件。其他依赖文件需要自行在代码中引用。 依赖文件的管理方式: 上传OBS管理程序包:提前将对应的依赖文件上传至OBS桶中。并在此处选择对应的OBS路径。
描述 从表或分区中移除所有行。当表属性“auto.purge”采用默认值“false”时,被删除的数据行将保存到文件系统的回收站,否则,当“auto.purge”设置为“true”时,数据行将被直接删除。 限制 目标表必须是管控表(表属性external=false),否则执行语句将报错。
n catgalog名称。 否 lfcatalog 在“库”页中,单击添加文件,添加1中的huaweicloud-dli-jdbc-xxx-dependencies.jar。 图3 上传驱动 添加后驱动类为空,需要单击“找到类”。识别出来的驱动类,需要与“设置”页的“类名”一致。
csv”。 product_id,product_name 113,office_13 22,book_2 29,book_9 文件上传成功后,待分析的文件路径为“obs://obs1/sampledata.csv”。 关于OBS管理控制台更多操作请参考《对象存储服务用户指南》。 步骤2:创建弹性资源池并添加队列
使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
err_msg 否 String 状态为失败时的详细报错信息。 update_time 否 Long 更新时间。 表4 hosts参数说明 参数名称 是否必选 参数类型 说明 name 否 String 自定义主机名称。 ip 否 String 主机对应的IPv4地址。 表5 连接状态 名称 含义
schema_name 描述 DATABASE和SCHEMA在此处是等价的,可互换的,它们有这相同的含义。 该语法用于显示SCHEMA的名称、注释、还有它在文件系统上的根路径。 可选项EXTENDED可以用来显示SCHEMA的数据库属性。 示例 CREATE SCHEMA web; DESCRIBE
数据库标签。格式为“key=value”,例如: 单标签场景: GET /v1.0/{project_id}/databases?offset=0&limit=10&with-priv=true&tags=k1%3Dv1 其中,“=”需要转义为“%3D”,“k1”为标签键,“v1”为标签值。
“default”为内置数据库,不能创建名为“default”的数据库。 DLI支持创建的数据库的最大数量为50个。 数据表 DLI支持创建的表的最大数量为5000个。 DLI支持创建表类型: Managed:数据存储位置为DLI的表。 External:数据存储位置为OBS的表。
TABLE关键字说明 参数 描述 url RDS的连接地址,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用RDS提供的"内网域名"或者内网地址和数据库端口访问,MySQL格式为"协议头://内网I