检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
job-id 否 String 根据作业ID查询批作业。 cluster_name 否 String DLI队列名称,不填写则获取当前Project下所有批处理作业(不推荐使用)。 queue_name 否 String DLI队列名称,根据队列查询批作业(推荐使用)。 from 否
[0-9]+$)[A-Za-z0-9_$]*$。 特殊字符需要使用单引号('')包围起来。 表名对大小写不敏感,即不区分大小写。 col_name 是 列字段名称。 列字段由字母、数字和下划线(_)组成。不能是纯数字,且至少包含一个字母。 列名为大小写不敏感,即不区分大小写。 col_type 是 列字段的数据类型。数据类型为原生类型。
'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername', -- DE
里。 sink.check-interval 10000 否 加载时检查间隔异常。 sink.max-retries 3 否 将记录写入数据库失败时的最大重试次数。 sink.buffer-size 256 * 1024 否 缓存流加载数据的缓冲区大小。 sink.buffer-count
作为RowKey的字段(如上述语法格式中的ATTR1),其值不能为null,长度要大于0,小于或等于32767。 Cols与RowKey中的字段加起来的数量必须与DLI表的字段保持一致,即表中所有的字段都到对应到Cols和RowKey中,但是顺序可以任意。 组合Rowkey只支持Stri
<yourKafkaAddress2>:<yourKafkaPort> 将ecs切换到confluent-5.5.2目录下,使用下述命令启动confluent: bin/schema-registry-start etc/schema-registry/schema-registry
对于每个匹配,以数组形式传递的捕获组都会调用lambda表达式函数。捕获组号从1开始;整个匹配没有分组(如果需要,请用括号将整个表达式括起来)。 SELECT regexp_replace('new york','(\w)(\w*)',x->upper(x[1])||lower(x[2]));--'New
选择其中任意一个IP进行复制即可(其中也包含了port信息),请参考图1。 port 访问端口。 password 连接密码。无密码时可以不填写该参数。 table 对应Redis中的Key或Hash Key。 插入redis数据时必填。 查询redis数据时与“keys.pattern”参数二选一。
且不能以下划线开头。匹配规则为:^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。如果特殊字符需要使用单引号('')包围起来。 该命令仅支持操作OBS表,不支持对DLI表进行操作。 partition_filtercondition 分区筛选条件。具体可以为以下格式:
0/{project_id}/streaming/flink-jobs {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建数据库(废弃)。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1项目下,创建Flink自定义作业。
ttl”选项都必须指定。 lookup.cache.ttl 10 s N 缓存生存时间。 lookup.max-retries 3 N 查找数据库失败时的最大重试次数。 示例 该示例是从Doris源表读取数据,并输入到 print connector。 参考增强型跨源连接,在DLI上
connections/{connection_id} {project_id}信息请从获取项目ID获取。 查询参数说明详情,请参见创建数据库(废弃)。 请求示例 描述:查询项目ID为48cc2c48765f481480c7db940d6409d1下连接ID为2a620c33-5
compress 否 String 导出数据的压缩格式,目前支持gzip,bzip2和deflate压缩方式; 默认值为none,表示不压缩。 data_type 是 String 导出数据的存储格式,目前API支持csv和json格式。 queue_name 否 String
否 String 作业状态描述。 create_time 否 Long 作业创建时间。 start_time 否 Long 作业启动时间。“0”表示尚未启动。 duration 否 Long 作业运行时长。 单位ms,“show_detail”为“false”时独有。 root_id
<yourKafkaAddress2>:<yourKafkaPort> 将ecs切换到confluent-5.5.2目录下,使用下述命令启动confluent: bin/schema-registry-start etc/schema-registry/schema-registry
connector.properties.group.id 否 消费组名称 connector.startup-mode 否 consumer启动模式,支持:'earliest-offset', 'latest-offset', 'group-offsets', 'specific-
json_array_get(json_array, index) → json 该函数的语义已被破坏。如果提取的元素是字符串,它将被转换为未正确使用引号括起来的无效JSON值(值不会被括在引号中,任何内部引号不会被转义)。建议不要使用该函数。无法在不影响现有用法的情况下修正该函数,可能会在将来的版本中删除该函数。
息体(Value)解析出来的数据。 scan.startup.mode 否 group-offsets String Kafka读取数据的启动位点。 取值如下: earliest-offset:从Kafka最早分区开始读取。 latest-offset:从Kafka最新位点开始读取。
er 关闭Hudi锁,或者使用其他的锁实现类时,存在数据丢失/异常的风险。 在任何情况下,DLI不对因关闭Hudi锁,或者使用与元数据服务不匹配的锁实现类,而直接或间接导致的任何形式的损失或损害承担责任,包括但不限于商业利润损失、业务中断、数据丢失或其他财务损失。 父主题: Spark