检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶,并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。
DLI提供查询Flink作业模板的接口。您可以使用该接口查询作业模板列表。本示例排序方式选择降序desc,将会列出作业模板ID小于cursor的作业模板列表信息。示例代码如下: 1 2 3 4 5 6 7 public static void getFlinkJobTemplates(DLIClient
Database中的表名,由字母、数字和下划线(_)组成。 using 参数hudi,定义和创建Hudi table。 table_comment 表的描述信息。 location_path OBS路径,指定该路径Hudi表会创建为外表。 options_list Hudi table属性列表。 query_statement
根据用户的需求,向订阅终端主动推送消息。可用于连接云服务、向多个协议推送消息以及集成在产生或使用通知的任何其他应用程序等场景。SMN的更多信息,请参见《消息通知服务用户指南》。 语法格式 create table smnSink ( attr_name attr_type
'connector.channel' = 'dis-output', 'format.type' = 'json' ); /** 统计car的静态信息 **/ INSERT INTO cars_infos_out SELECT cast(cast_int_to_string as
弹性资源池的规格(“规格”即“包周期CU”)等于创建时的最小CU,是首次创建时分配的资源数。即弹性资源池首次创建时,实际CUs=规格=最小CU。 描述 创建的弹性资源池的描述信息。 网段 规划弹性资源池所属的网段。如需使用DLI增强型跨源,弹性资源池网段与数据源网段不能重合。弹性资源池网段设置后不支持更改。 建议使用网段:
入。 状态索引:Flink引擎独有索引,是将行记录的存储位置记录到状态后端的一种索引形式,在作业冷启动过程中会遍历所有数据存储文件生成索引信息。 用Flink状态索引,Flink写入后,不支持Spark继续写入。 Flink在写Hudi的MOR表只会生成log文件,后续通过com
单击“更新委托权限”。 查看并了解更新委托的提示信息,单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后,在IAM控制台的委托列表中,可查看到dli_management_agency的委托信息。 步骤1:上传数据至OBS 使用DLI查询数据前,需要将数据文件上传至OBS中。
务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。DIS的更多信息,请参见《数据接入服务用户指南》。 语法格式 1 2 3 4 5 6 7 8 9 10 11 create table disSink
15及以上版本执行作业时,推荐直接选择OBS中的程序包。 打包Spark或Flink jar作业jar包时,请不要上传平台已有的依赖包,以免与平台内置依赖包冲突。内置依赖包信息请参考DLI内置依赖包。 约束与限制 程序包支持删除,但不支持删除程序包组。 支持上传的程序包类型: JAR:用户jar文件。 PyFile:用户Python文件。
怎样创建增强型跨源连接? 在DLI管理控制台,单击“跨源管理 > 增强型跨源 ”。 选择“增强型跨源”,单击“创建”。 配置增强型跨源连接的信息请参考创建增强型跨源连接。 创建完成后,增强型跨源连接的状态显示“已激活”,代表该连接创建成功。您还可以在队列管理页面测试数据源与DLI队列的连通性。
values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时需要指定Schema信息。 如果在建表时指定“key.column”,则在Redis中会以指定字段的值作为Redis Key名称的一部分。例如: 1 2 3 4 5
values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时需要指定Schema信息。 如果在建表时指定“key.column”,则在Redis中会以指定字段的值作为Redis Key名称的一部分。例如: 1 2 3 4 5
务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。DIS的更多信息,请参见《数据接入服务用户指南》。 语法格式 1 2 3 4 5 6 7 8 9 10 11 create table disSink
多次修改列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。 Spark SQL暂不支持查看列默认值信息,可以通过执行show create table SQL查看。 不支持默认缺省列的写入方式,写入时必须指定列名。 支持范围 当前仅支持in
field2=data_xml.field2”。 email_key 否 当编码格式为email时,用户需要通过该参数来指定需要提取的信息,需要列出信息的key值,需要与流定义字段一一对应,多个key值时以逗号分隔,例如“Message-ID, Date, Subject, body
field2=data_xml.field2”。 email_key 否 当编码格式为email时,用户需要通过该参数来指定需要提取的信息,需要列出信息的key值,需要与流定义字段一一对应,多个key值时以逗号分隔,例如“Message-ID, Date, Subject, body
据用户的需求,向订阅终端主动推送消息。可用于连接云服务、向多个协议推送消息以及集成在产生或使用通知的任何其他应用程序等场景。 SMN的更多信息,请参见《消息通知服务用户指南》。 语法格式 1 2 3 4 5 6 7 8 9 CREATE SINK STREAM stream_id
据用户的需求,向订阅终端主动推送消息。可用于连接云服务、向多个协议推送消息以及集成在产生或使用通知的任何其他应用程序等场景。 SMN的更多信息,请参见《消息通知服务用户指南》。 语法格式 1 2 3 4 5 6 7 8 9 CREATE SINK STREAM stream_id
group_resource.group_name) 完整样例代码和依赖包说明请参考:Python SDK概述。 查询指定资源包 您可以使用该接口查询指定的资源包信息,示例代码如下: def get_package_resource(dli_client, resource_name, group_name):