检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
或者双击左侧表名“qw”,上述查询语句会自动在作业编辑窗口中输入。 DLI还为您提供了丰富的SQL模板,每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接使用SQL作业模板快速实现您的业务逻辑。了解模板更多信息请参考创建SQL作业模板。 单击“更多”中的“语法校验”,确认SQL语句书写是否正确。 如
57字节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,长度为0~512字节。 模板名称 用户可以选择样例模板或自定义的作业模板。关于模板的详细信息,请参见管理Flink作业模板。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所
"obs://DLI-demo/data/JData_Action"); 执行查询 常用查询语句可以设置为模板,下次查询的时候在模板管理页面可以查看,具体操作可参见《数据湖探索用户指南》中的《模板管理》。 分析出10大用户点赞数最多的产品 执行以下SQL语句,可以分析出10大用户点赞数最多的产品。
用户需要自己编写完整代码并进行编译。 用户需要登录集群使用命令进行提交,且需要维护集群。 用户需要在代码里写入checkpoint才能开启。 作业模板 内置多个常见Flink SQL通用场景模板,帮助您快速了解和构建作业代码 暂无 企业安全 访问控制 与华为云IAM权限打通,支持多角色的访问控制 暂无 空间隔离
仅支持在创建Spark作业时,配置“应用程序”,从OBS选择作业所需的Jar包。 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 登录DLI控制台,选择“作业管理 > Spark作业”。 单击操作列“编辑”。 编辑“应用程序”,选择1上传的OBS地址。 图11 配置应用程序 Spark 3
始位置是从字符串的结尾往前倒数,最后一个字符是-1,依次往前倒数。 nth_appearance 否 BIGINT 表示str2在str1中第nth_appearance次匹配的位置。 如果nth_appearance为其他类型或小于等于0,则返回报错。 返回值说明 返回BIGINT类型。
始位置是从字符串的结尾往前倒数,最后一个字符是-1,依次往前倒数。 nth_appearance 否 BIGINT 表示str2在str1中第nth_appearance次匹配的位置。 如果nth_appearance为其他类型或小于等于0,则返回报错。 返回值说明 返回BIGINT类型。
用技巧等说明。 Spark SQL作业管理 提供Spark SQL作业管理界面功能介绍。 Spark SQL模板管理 DLI支持定制模板或将正在使用的SQL语句保存为模板,便捷快速的执行SQL操作。 开发指导 Spark SQL语法参考 提供Spark SQL数据库、表、分区、导
"[]", 例如配置了"{}", 则数组输出格式为{a1,a2}。 append 否 值为true或者false,默认为true。 当OBS不支持append模式,且编码格式为csv和json时,可将该参数设置为false。Append为false时需要设置max_record_num_p
"[]", 例如配置了"{}", 则数组输出格式为{a1,a2}。 append 否 值为true或者false,默认为true。 当OBS不支持append模式,且编码格式为csv和json时,可将该参数设置为false。Append为false时需要设置max_record_num_p
ARRAY WRAPPER) -- Scalars must be wrapped to be returned -- NULL JSON_QUERY(1, '$') -- '[1]' JSON_QUERY(1, '$' WITH CONDITIONAL ARRAY WRAPPER)
设置实例的登录密码。 - 管理员账号 root root 管理员密码 设置管理员密码。 - 参数模板 数据库参数模板就像是数据库引擎配置值的容器,参数模板中的参数可应用于一个或多个相同类型的数据库实例。 系统默认模板:Default-MySQL-5.7 表名大小写 配置表名不区分大小写。 不区分大小写
+I(202303251202020001,miniAppShop,2023-03-2512:02:02,60.0,60.0,2023-03-2512:03:00,0002,Bob,330110) +I(202303251505050001,appshop,2023-03-25 15:05:05
202103251505050001,appShop,2021-03-25 15:05:05,500.00,400.00,2021-03-25 15:10:00,0003,Cindy,330108 202103241606060001,appShop,2021-03-24 16:06:06
message 否 String 系统提示信息,执行成功时,信息可能为空。 job_mapping 否 Array of Objects 导入作业的信息。具体请参考表4。 表4 job_mapping参数说明 参数名称 是否必选 参数类型 说明 old_job_id 否 Long
driver) \ .mode("Append") \ .save() mode 有四种保存类型: ErrorIfExis:如果已经存在数据,则抛出异常。 Overwrite:如果已经存在数据,则覆盖原数据。 Append:如果已经存在数据,则追加保存。 I
作业名称。长度限制:1-57个字符。 desc 否 String 作业描述。长度限制:0-512个字符。 template_id 否 Integer 模板ID。 如果“template_id”和“sql_body”都不为空,优先选择“sql_body”的内容;如果“template_id”不
getBatchJobLog - GET /v2.0/{project_id}/batches/{batch_id}/log Flink作业模板相关 表7 Flink作业模板相关API&SDK的对应关系表 Class Java Method Python Method API Template c
avro.codec 否 (none) String 仅用于FileSystem,avro 压缩编解码器。默认 snappy 压缩。目前支持:null, deflate、snappy、bzip2、xz。 数据类型映射 目前,Avro schema 通常是从 table schema 中推导而来。尚不支持显式定义
Flink作业推荐配置指导 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2