检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
v3 Java SDK使用指导 Java SDK视频指导 Python huaweicloud-sdk-python-v3 Python SDK使用指导 Python SDK视频指导 PHP huaweicloud-sdk-php-v3 PHP SDK使用指导 PHP SDK视频指导
qdigest([same as x]) 描述:返回由x的所有输入值(使用每项权重w)组成的qdigest。 qdigest_agg(x, w, accuracy) -> qdigest([same as x]) 描述:返回由x的所有输入值(使用每项权重w和最大误差accuracy)组成的qdig
由于clean和archivelog对资源要求较小,为避免资源浪费,使用DataArts调度的话可以compaction作为一个任务,clean、archive作为一个任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction
如果任一参数为null,则返回null STR_TO_MAP(string1[, string2, string3]]) MAP 使用string2分隔符将string1分割成K-V对,并使用string3分隔每个K-V对,组装成MAP返回 string2默认为',' string3默认为'=' SUBSTR(string[
定所要使用的Flink作业队列。 设置ClickHouse和Kafka集群安全组的入向规则,使其对当前将要使用的Flink作业队列网段放通。参考测试地址连通性根据ClickHouse和Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 使用Clic
sum desc查询具体是哪些key引起的数据倾斜。 然后对于倾斜Key单独做处理,加盐让其先将他分为多个task分别统计,最后再对分开统计结果进行结合统计。 例如:如下SQL示例,假设已知倾斜key为'Key01',导致单个task处理大量数据,做如下处理: SELECT a.Key
- ARRAY ARRAY 示例 使用Kafka发送数据,通过JDBC结果表将Kafka数据再输出到MySQL数据库中。 参考增强型跨源连接,在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置MyS
separation表示数据在两个节点之间进行交换。Fragment type表示一个fragment如何被执行以及数据在不同fragment之间怎样分布。 SINGLE Fragment会在单个节点上执行。 HASH Fragment会在固定数量的节点上执行,输入数据通过哈希函数进行分布。 ROUND_ROBIN
是否必选 参数类型 说明 queues 否 Array of Strings 需要使用跨源的队列名列表。 elastic_resource_pools 否 Array of Strings 需要使用跨源的弹性资源池列表,将这些弹性资源池绑定到该增强跨源。 响应消息 表3 响应参数
12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 语法格式 1 2 3 4 5 6 7 8 9 10 11
如果任一参数为null,则返回null STR_TO_MAP(string1[, string2, string3]]) MAP 使用string2分隔符将string1分割成K-V对,并使用string3分隔每个K-V对,组装成MAP返回 string2默认为',' string3默认为'=' SUBSTR(string[
限制 ① 和 ②的语法不能组合使用。 当使用了avro_schema_url属性时,以下操作是不支持的: 不支持CREATE TABLE AS操作 使用CREATE TABLE时不支持partitioned_by 和 bucketed_by 不支持使用alter table修改column
增强型跨源连接与弹性资源池解绑 操作场景 当弹性资源池不需要使用增强型跨源连接访问数据源时,可将增强型跨源连接与弹性资源池解绑。 约束限制 增强型跨源绑定弹性资源池所创建的对等连接状态为“已失败”时,不支持解绑该弹性资源池。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 如果需要获取key的值,则可以通过在Flink中设置主键获取,主键字段即对应Redis的key。
dir”即可开启回收站功能。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
name=xxx&age=25#teacher'); -- name=xxx&age=25 编码函数 url_encode(value) → varchar 描述:对value进行转义处理,以便可以安全地将其包含在URL查询参数名和值中: 字母字符不会被编码。 字符 ., -, * 和 _不会被编码。 ASCII 空格字符会被编码为+
ALTER TABLE test.cdc_order REPLICA IDENTITY FULL 使用前请确认当前PostgreSQL是否包含默认的插件,可在PostgreSQL中使用下述语句查询当前插件。 SELECT name FROM pg_available_extensions;
ER origin_col新增列将会被加入到原始列origin_col之后,可以缺省。FIRST只能再嵌套列添加新的子列时使用,禁止top-level列使用FIRST,AFTER没有限制。 示例 alter table h0 add columns(ext0 string); alter
SE子句时,DLI将返回else_result_expression;当没有指定ELSE子句时,返回NULL值。 示例 对表student进行查询,返回字段name及与score对应的结果,score大于等于90返回EXCELLENT,score在(80,90)之间的返回GOOD,否则返回BAD。
Jar写入数据到OBS开发指南。 配置文件使用方法 方案一:直接在main函数里面加载文件内容到内存,然后广播到各个taskmanager,这种方式适合那种需要提前加载的少量变量。 方案二:在open里面初始化算子的时候加载文件,可以使用相对路径/绝对路径的方式 以kafka s