检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS桶需要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 操作步骤 在DLI控制台左侧导航栏中单击“全局配置 >
说明 str1、str2 是 STRING 字符串。 如果输入参数为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会自动转换为STRING类型后参与运算,其他类型会返回报错。 返回值说明 返回ARRAY数组或STRING的值。 返回ARRAY类型。如果任一输入A
instr1函数用于计算子串str2在字符串str1中的位置。 initcap initcap(string A) STRING 将文本字符串转换成首字母大写其余字母小写的形式。 keyvalue keyvalue(string <str>,[string <split1>,string
ma字段数量不匹配时,系统将报错。 类型不一致时不一定报错,例如插入int类型数据,但CSS中Schema保存的是文本类型,int类型会被转换成文本类型。 不建议对同一张表并发插入数据,因为有一定概率发生并发冲突,导致插入失败。 示例 查询表“user”中的数据插入表“test”中。
precombine字段值可以保证数据的准确性,老数据不会覆盖新数据,也就是幂等写入能力。该字段可用选择的类型包括:业务表中更新时间戳、数据库的提交时间戳等。precombine字段不能有null值和空值,可以参考以下示例设置precombine字段: SparkSQL: //通
是:“window_start”,“window_end”,“window_time”。函数运行后,原有的时间属性 “timecol” 将转换为一个常规的 timestamp 列。 TUMBLE(TABLE data, DESCRIPTOR(timecol), size [, offset
插入数据至RDS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的指定RDS表中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM
新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 说明: 队列名称不区分大小写,系统会自动转换为小写。 queue_type 否 String 队列的类型,。有如下类型: sql:SQL队列类型,用于运行SQL作业。 general
隔的参数请参考Hudi官网。 run compaction on <database name>. <table name>; // 执行Compaction计划 run clean on <database name>. <table name>; // 执行Clean操作
'fenodes' = 'FE_IP:PORT,FE_IP:PORT,FE_IP:PORT', 'table.identifier' = 'database.table', 'username' = 'dorisUsername', 'password' = 'dorisPassword'
包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。 云搜索服务(Cloud Search Service,简称CSS)为DLI提供托管的分布式搜索引擎服务,完全兼容开源Elasticsearch搜索引擎,支持结
)(bar)', 2) 返回 "bar"。 INITCAP(string) 返回新形式的 STRING,其中每个单词的第一个字符转换为大写,其余字符转换为小写。这里的单词表示字母数字的字符序列。 CONCAT(string1, string2, ...) 返回连接 string1,string2,
hbase CloudTable/MRS OpenTSDB: sys.datasource.opentsdb RDS MySQL: sys.datasource.rds RDS PostGre: 不需要选 DWS: 不需要选 CSS: sys.datasource.css resources
DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 Spark日志分割规则: 按大小分割:默认情况下,每个日志文件最大为128MB。
Flink 数据类型转换。 Flink的HBase连接器将所有数据类型(除字符串外)null 值编码成空字节。对于字符串类型,null 值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
[5, 6, 7] | [25, 36, 49] (3 rows) 利用transform()函数将数组元素转为字符串,无法转换则转为NULL输出,避免报错产生: SELECT transform(prices, n -> TRY_CAST(n AS VARCHAR)
Flink 数据类型转换。 Flink的HBase连接器将所有数据类型(除字符串外)null 值编码成空字节。对于字符串类型,null 值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
跨源连接RDS表 创建DLI表关联RDS 插入数据至RDS表 查询RDS表 父主题: 跨源连接相关
查询参数名和值中: 字母字符不会被编码。 字符 ., -, * 和 _不会被编码。 ASCII 空格字符会被编码为+ 。 所有其他字符都将转换为UTF-8,并且字节被编码为字符串%XX,其中XX是UTF-8字节的大写十六进制值。 select url_encode('http://www
DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 前提条件 配置前,请先购买OBS桶或并行文件系统。大数