检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
OBS存储路径。 注意事项 所要修改位置的表分区必须是已经存在的,否则将报错。 “partition_specs”中的参数默认带有“( )”,例如:PARTITION (dt='2009-09-09',city='xxx')。 所指定的新的OBS路径必须是已经存在的绝对路径,否则将报错。 若
locate locate函数用于在str中查找substr的位置。您可以通过start_pos指定开始查找的位置,从1开始计数。 命令格式 locate(string <substr>, string <str>[, bigint <start_pos>]) 参数说明 表1 参数说明
locate locate函数用于在str中查找substr的位置。您可以通过start_pos指定开始查找的位置,从1开始计数。 命令格式 locate(string <substr>, string <str>[, bigint <start_pos>]) 参数说明 表1 参数说明
操作场景 本节操作介绍创建Flink作业时,配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅
OBS存储路径。 注意事项 所要修改位置的表分区必须是已经存在的,否则将报错。 “partition_specs”中的参数默认带有“( )”,例如:PARTITION (dt='2009-09-09',city='xxx')。 所指定的新的OBS路径必须是已经存在的绝对路径,否则将报错。 若
tr1在以逗号(,)分隔的字符串str2中的位置,从1开始计数。 命令格式 find_in_set(string <str1>, string <str2>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str1 是 STRING 待查找的字符串。 str2 是 STRING
Flink作业推荐配置指导 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台,创建Flink
tr1在以逗号(,)分隔的字符串str2中的位置,从1开始计数。 命令格式 find_in_set(string <str1>, string <str2>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str1 是 STRING 待查找的字符串。 str2 是 STRING
数据保护技术 数据存储安全 为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。
在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 如何选择可用区? 是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。
分区相关 添加分区(只支持OBS表) 重命名分区(只支持OBS表) 删除分区 指定筛选条件删除分区(只支持OBS表) 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) REFRESH TABLE刷新表元数据 父主题: 表相关
primary_key = "c_timeminute" ); 注意事项 stream_id所定义的流格式需和数据库中的表格式一致。 示例 将流audi_cheaper_than_30w的数据输出到数据库test的audi_cheaper_than_30w表下。 1 2 3 4 5 6
greSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数
与云审计服务(CTS)的关系 云审计服务(Cloud Trace Service)为DLI提供对应用户的操作审计。 云审计服务支持的DLI操作请参考《云审计服务支持的DLI操作列表说明》。 与云监控服务(CES)的关系 云监控(Cloud Eye)为DLI提供监控数据,监控作业中的多项指标,从而集中高效地呈现状态信息。
分区表相关 添加分区(只支持OBS表) 重命名分区(只支持OBS表) 删除分区 指定筛选条件删除分区(只支持OBS表) 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) REFRESH TABLE刷新表元数据 父主题: Spark SQL语法参考(即将下线)
查看表 查看所有表 查看建表语句 查看表属性 查看指定表所有列 查看指定表所有分区 查看表统计信息 父主题: Spark SQL语法参考(即将下线)
集合函数 函数说明 CARDINALITY(array) 返回数组中元素的数量。 array '[' INT ']' 返回数组中 INT 位置的元素。索引从 1 开始。 ELEMENT(array) 返回数组的唯一元素(其基数应为 1);如果数组为空,则返回 NULL。如果数组有多个元素,则抛出异常。
BIGINT类型常量。指定返回的位置。值为0或1,不指定时默认值为0,其他类型或不允许的值会返回报错。0表示返回匹配的开始位置,1表示返回匹配的结束位置。 返回值说明 返回BIGINT类型。return_option指定匹配的子串在source中的开始或结束位置。 如果pattern为空串,返回报错。
BIGINT类型常量。指定返回的位置。值为0或1,不指定时默认值为0,其他类型或不允许的值会返回报错。0表示返回匹配的开始位置,1表示返回匹配的结束位置。 返回值说明 返回BIGINT类型。return_option指定匹配的子串在source中的开始或结束位置。 如果pattern为空串,返回报错。