检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
简单CASE函数 功能描述 依据input_expression与when_expression的匹配结果跳转到相应的result_expression。 语法格式 1 CASE input_expression WHEN when_expression THEN result_expression
a或b为NULL,则返回NULL。 b为0时,返回NULL 示例代码 返回2。 select pmod(2,5); 返回3。 select pmod(-2,5)(解析:-2=5*(-1)...3); 返回NULL。 select pmod(5,0); 返回1。 select pmod(5,2); 返回0
t(date_sub(current_date(), 1), 'yyyymmddhhmmss')} 修改后,Flink SQL作业能够正确解析表名,并根据EL表达式动态生成表名。 父主题: Flink SQL作业类
HH:mm:ss.s{precision}”格式解析输入时间戳,例如'2020-12-30 12:13:14.123' 并以相同格式输出时间戳。 'ISO-8601'将以“yyyy-MM-ddTHH:mm:ss.s{precision}”格式解析输入时间戳,例如'2020-12-30T12:13:14
null错误 Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据 Flink Opensource SQL如何解析复杂嵌套 JSON? Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? Flink
size SQL作业运行报错:DLI.0002 FileNotFoundException 用户通过CTAS创建hive表报schema解析异常错误 在DataArts Studio上运行DLI SQL脚本,执行结果报org.apache.hadoop.fs.obs.OBSIOException错误
使用Notebook实例提交DLI作业 Notebook是基于开源JupyterLab进行了深度优化的交互式数据分析挖掘模块,提供在线的开发和调试能力,用于编写和调测模型训练代码。完成DLI对接Notebook实例后,您可以基于Notebook提供的Web交互的开发环境同时完成代
hh24:mi:ss');-- 2020/1218 15:20:05 to_timestamp(string, format) 描述:将字符串按规定格式解析为timestamp。 select to_timestamp('2020-12-18 15:20:05','yyyy-mm-dd hh24:mi:ss');
每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。 最后修改时间 作业运行完成的时间。 操作 编辑:可修改当前作业配置,重新执行作业。 SparkUI:单击后,将跳转至Spark任务运行情况界面。 说明: 状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。
EXTERNAL TABLE. 新增支持解析“+Infinity”、“+INF”和“-INF”类型字符串的值 说明: Spark2.4.x:当从定义为FloatType 或 DoubleType的JSON属性读取值时,Spark2.4.x仅支持解析“Infinity”和“-Infinity”。
例如:控制台入输入的参数 --bootstrap.server 192.168.168.xxx:9092 通过ParameterTool解析后的参数如下所示: 图5 解析后的参数 怎样查看作业日志? 在FLink作业列表中单击作业名称,进入作业详情页面。 单击“运行日志”,即可在控制台查看作业日志。
json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象,使用字符串表示。 json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式
管理SQL作业 在SQL作业列表页面查看作业的基本信息 DLI SQL作业管理页面显示所有SQL作业,作业数量较多时,系统分页显示,可根据需要跳转至指定页面。您可以查看任何状态下的作业。作业列表默认按创建时间降序排列。 表1 作业管理参数 参数 参数说明 队列 作业所属队列的名称。 执行引擎
IS_ALPHA(string) 如果字符串中的所有字符都是字母,则返回 true,否则返回 false。 IS_DECIMAL(string) 如果 string 可以解析为有效数字,则返回 true,否则返回 false。 IS_DIGIT(string) 如果字符串中的所有字符都是数字,则返回 true,否则返回
json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象,使用字符串表示。 json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式
IP Address函数 contains(network, address) → boolean 当CIDR网络中包含address时返回true。 SELECT contains('10.0.0.0/8', IPADDRESS '10.255.255.255'); -- true
DWS Connector概述 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQ
提交作业并检查Flink UI和日志: 直接点击界面右上角的”提交”,在跳转界面再次确认参数无误后,点击底部”立即启动”。完成提交后自动跳转至Flink作业界面,此处可以筛选刚才提交的Flink作业并检查执行状态。 点击作业的名称,可以跳转至作业界面,此处可以点击”提交日志”或”运行日志”,检查
点击执行后会跳转到”Spark作业”界面,此处可以看到作业的执行状态。点击对应作业右侧的更多,可以在下拉菜单中跳转日志选单: 归档日志:跳转OBS界面,可以看到该作业的全部日志归档地址,包含提交日志,Driver日志和Executor日志,在此处可以下载日志。 提交日志:跳转到提交日
分区,适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作,并且表有大量的动态分区时,这可能会导致在数据解析时消耗大量的内存资源,导致Driver节点的内存不足,并触发频繁的Full GC。 在这种情况下,可以配置该参数为false即禁用动态分区