检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
se_result_expression;当没有指定ELSE子句时,返回NULL值。 示例 对表student进行查询,返回字段name及与score对应的结果,score大于等于90返回EXCELLENT,score在(80,90)之间的返回GOOD,否则返回BAD。 1 SELECT
Provider 关闭Hudi锁,或者使用其他的锁实现类时,存在数据丢失/异常的风险。 在任何情况下,DLI不对因关闭Hudi锁,或者使用与元数据服务不匹配的锁实现类,而直接或间接导致的任何形式的损失或损害承担责任,包括但不限于商业利润损失、业务中断、数据丢失或其他财务损失。 父主题:
${table_name}_rt; 实时视图读取(Spark jar作业为例):与COW表操作一致,请参考COW表相关操作。 增量视图读取(Spark SQL作业为例):与COW表操作一致,请参考COW表相关操作。 增量视图读取(Spark jar作业为例):与COW表操作一致,请参考COW表相关操作。 读优化视图读取(Spark
是 STRING 代表需要转换的目标日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 mm代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回BOOLEAN类型的值。
"obs://bucket/path/h1"; 注意事项 首先需要执行clean命令,在clean命令清理了历史的数据文件后,Timeline上与清理的数据文件对应的Instant才允许归档。 不管是否进行compaction操作,至少会保留hoodie.compact.inline.max
箱或其他协议终端确认订阅。 在AOM管理控制台创建告警行动规则。 创建告警行动规则并关联SMN主题与消息模板,当日志、资源或指标数据满足对应的告警条件时,系统根据关联的SMN主题与消息模板来发送告警通知。 请确保已创建SMN主题并已为主题添加订阅。 登录AOM 2.0控制台。 在左侧导航栏中选择“告警管理
获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号,用于资源隔离。 获取项目ID DLI区域信息
对应子账户所在的用户组,确保该用户组已添加相应Region的SMN策略。 确认主题名称和区域。 确保您在DLI中配置的SMN主题名称和区域与实际创建的SMN主题一致。如果SMN主题名称不一致也会导致系统提示SMN主题不存在。 父主题: Flink作业咨询类
开始支持已经提交Pending文件的合并,从而允许应用设置一个较小的时间周期并且避免生成大量的小文件。 这一功能开启后,在文件转为Pending状态与文件最终提交之间会进行文件合并。这些Pending状态的文件将首先被提交为一个以.开头的临时文件。这些临时文件随后将会按照用户指定的策略和合
”。本例对重点参数加以说明,其他参数根据业务情况自行配置即可。 Flink Jar作业可靠性配置与SQL作业相同,不再另行说明。 根据如下公式,配置作业的“CU数量”、“管理单元”与“最大并行数”: CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数
System.getenv("xxx_SDK_AK")//访问密钥ID。 sk = System.getenv("xxx_SDK_SK")//与访问密钥ID结合使用的密钥。 dli_client = DliClient(auth_mode=auth_mode, region=region
登录DLI控制台,创建Flink SQL作业,编写作业SQL后,配置“运行参数”。 Flink Jar作业可靠性配置与SQL作业相同,不再另行说明。 根据如下公式,配置作业的“CU数量”、“管理单元”与“最大并行数”: CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数
DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后,用户可以在DLI的租户独享集群中访问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。
DLI队列的提交操作 dli:queue:* DLI队列的全部操作 dli:*:* DLI所有资源类型的所有操作 更多操作与系统权限的关系请参考常用操作与系统权限关系。 定义Resource Resource由<服务名:region:domainId:资源类型:资源路径>5个字
已在DEW服务创建通用凭证,并存入凭据值。具体操作请参考:创建通用凭据。 已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限: DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSec
sum(expression) FROM table; 注意事项 所要分组的表必须是已经存在的表,否则会出错。 示例 根据group_id与job两个字段生成聚合行、超聚合行和总计行,返回每种聚合情况下的salary总和。 1 2 3 SELECT group_id, job, SUM(salary)
DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 (推荐)DLI SDK V3:是根据定义API的YAML文件统一自动生成,其接口参数与服务的API一致。 具体操作请参考SDK V3版本开发指南。 DLI SDK(服务自研):是DLI服务自行开发的SDK,本手册介绍DLI 自
yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的目标日期格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 MM代表月份。 返回值说明 返回DATE类型的日期值,格式为yyyy-mm-dd。 date非D
开始支持已经提交Pending文件的合并,从而允许应用设置一个较小的时间周期并且避免生成大量的小文件。 这一功能开启后,在文件转为Pending状态与文件最终提交之间会进行文件合并。这些Pending状态的文件将首先被提交为一个以.开头的临时文件。这些临时文件随后将会按照用户指定的策略和合
hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的格式。 格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 MM代表月份。 dd代表天。 HH代表24小时制时。 hh代表12小时制时。 mm代表分钟。 ss代表秒。