检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建队列的用户。 create_time 否 Long 创建队列的时间。单位为“毫秒”的时间戳。 queue_type 否 String 队列的类型,。 sql general all 如果不指定，默认为“sql”。 cu_count 否 Integer 与该队列绑定的计算单元数，即当前队列的CU数。
OBS表必选参数。 data_path 否 String 新增OBS表数据的存储路径，必须是OBS的路径。 说明： OBS表必选参数。 data_path配置的OBS桶路径不建议为根目录，否则清空表数据的时候，就会把根目录内的数据全部清除，导致数据丢失。 with_column_header
和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置DWS和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据DWS和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 连接DWS
务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对DLI服务，
不配置表示动态导入整表数据，导入的数据需要包含分区列的数据； 如果导入时，配置所有分区信息，则表示导入数据到指定分区，导入的数据不能包含分区列的数据； 如果导入时，配置了部分分区信息，而导入的数据必须包含非指定的分区数据，不能包含指定的分区数据，否则数据导入后，非指定的数据分区字段列会存在null值等异常值。
Import类型的作业，记录其导入的数据是否包括列名。 detail 是 String SQL查询的相关列信息的Json字符串。 statement 是 String 作业执行的SQL语句。 message 否 String 系统提示信息。 end_time 否 Long 作业结束的时间。是单位为“毫秒”的时间戳。
示例3：使用CTAS语句将源表的全部数据或部分数据创建新的DLI表 示例说明：根据示例1：创建DLI非分区表中创建的DLI表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即不论在创建t
g:UserId 全局级 String 当前登录的用户ID。 g:UserName 全局级 String 当前登录的用户名。 g:ProjectName 全局级 String 当前登录的Project。 g:DomainName 全局级 String 当前登录的Domain。 g:ResourceTag
数据库服务器 单击输入框旁边的“选择”按钮，选择当前已创建的DWS集群名称。 端口 DWS数据库的端口，默认为：8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。该数
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
ent avro的形式写入作为sink的topic中。 根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka和ecs的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多
数据库服务器 单击输入框旁边的“选择”按钮，选择当前已创建的DWS集群名称。 端口 DWS数据库的端口，默认为：8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。该数
并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且表有大量的动态分区时，这可能会导致在数据解析时消耗大量的内存资源，导致Driver节点的内存不足，并触发频繁的Full GC。 在这种情况下，可以
本章节指导用户通过API创建增强型跨源连接。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口，具体请参考《虚拟私有云API参考》。获取子网网络ID接口，具体请参考《虚拟私有云API参考》。
操作场景 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI的相关标签策略，则需按照标
标签管理 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI的相关标签策略，则需按照标签
city='xxx')。 所指定的新的OBS路径必须是已经存在的绝对路径，否则将报错。 若新增分区指定的路径包含子目录（或嵌套子目录），则子目录下面的所有文件类型及内容也将作为该分区的记录。用户需要保证该分区目录下所有文件类型和文件内容与表的字段一致，否则查询将报错。 示例 将student表的分区dt='2008-08-08'
“驱动”栏填写DLI JDBC的驱动：com.huawei.dli.jdbc.DliDriver。 “URL” 栏选择“自定义协议”，后面填写DLI jdbc的URL，URL的格式见表1，属性配置项说明见表2。 “表结构模式”可填写需访问的数据库名称，如果填写，后续创建数据集时，刷
确认短信的手机号码。 如果选择“邮件”协议，需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息，请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后，将收到“订阅成功”的信息。 在消息通知服务的“订阅”页面，对应的订阅状态为“已确认”，表示订阅成功。
用户已上传到DLI资源管理系统的类型为jar或pyFile的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。 className 是 String 批处理作业的Java/Spark主类。 queue 否 String 用于指定队列，填写已创建DLI的队列名。必须为通用类型的队列。 说明：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
