检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当引用符号为单引号时，则设置quote = "'"。 说明： 目前只适用于CSV格式。 设置引用符号后，必须保证每个字段中包含0个或者偶数个引用符号，否则会解析失败。 version_id 否 版本号，当obs里的桶或对象有设置版本的时候需填写，否则不用配置该项。 注意事项 在创建Source S
当引用符号为单引号时，则设置quote = "'"。 说明： 目前只适用于CSV格式。 设置引用符号后，必须保证每个字段中包含0个或者偶数个引用符号，否则会解析失败。 version_id 否 版本号，当obs里的桶或对象有设置版本的时候需填写，否则不用配置该项。 注意事项 在创建Source S
创建数据库 功能描述 创建数据库。 语法格式 1 2 3 CREATE [DATABASE | SCHEMA] [IF NOT EXISTS] db_name [COMMENT db_comment] [WITH DBPROPERTIES (property_name=property_value
导出DLI表数据至OBS中 支持将数据从DLI表中导出到OBS服务中，导出操作将在OBS服务新建文件夹，或覆盖已有文件夹中的内容。 注意事项 支持导出json格式的文件，且文本格式仅支持UTF-8。 只支持将DLI表（表类型为“Managed”）中的数据导出到OBS桶中，且导出的路径必须指定到文件夹级别。
Python SDK环境配置 操作场景 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual
分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且表有大量的动态分区时，这可能会导致在数据解析时消耗大量的内存资源，导致Driver节点的内存不足，并触发频繁的Full GC。 在这种情况下，可以配置该参数为false即禁用动态分区
_config”属性。 若编码格式为“email”，则需配置“email_key”属性。 若编码格式为“blob”，表示不对接收的数据进行解析，流属性仅能有一个且数据格式为ARRAY[TINYINT]。 若编码格式为“user_defined”，则需配置“encode_class
_config”属性。 若编码格式为“email”，则需配置“email_key”属性。 若编码格式为“blob”，表示不对接收的数据进行解析，流属性仅能有一个且数据格式为ARRAY[TINYINT]。 若编码格式为“user_defined”，则需配置“encode_class
是否必选 说明 connector.type 是 connector类型，需配置为'gaussdb' connector.url 是 jdbc连接地址，格式为：jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 读取数据库中的数据所在的表名
是否必选 说明 connector.type 是 connector类型，需配置为'gaussdb' connector.url 是 jdbc连接地址，格式为：jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 读取数据库中的数据所在的表名
使用DLI提交SQL作业查询OBS数据 场景描述 DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交SQL作业查询OBS数据的操作步骤。 本例新建“sampledata.csv”文件上传OBS桶，并新建弹性资源池队列，使用DLI创建数据库和表，使用DLI提供的SQL编辑器查询表的1000条数据。
36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70
使用DLI将CSV数据转换为Parquet数据 应用场景 Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项
'(topic-a|topic-b|topic-[0-9]*)' connector.properties.bootstrap.servers 是 kafka brokers地址，以逗号分隔。 connector.properties.group.id 否 消费组名称 connector.startup-mode 否
典型场景示例：迁移Hive数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Hive数据至DLI。其他MRS Hadoop组件数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI
json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象，使用字符串表示。 json_path STRING 解析JSON的路径表达式，使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式
'(topic-a|topic-b|topic-[0-9]*)' connector.properties.bootstrap.servers 是 kafka brokers地址，以逗号分隔。 connector.properties.group.id 否 消费组名称 connector.startup-mode 否
迁移Hive数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Hive数据至DLI。其他MRS Hadoop组件数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。
-1或大于0。默认值为“-1”，表示无限次数。 checkpoint_path 否 String 用户Jar中checkpoint的储存地址，不同作业路径需要保持不同。 runtime_config 否 String Flink作业运行时自定义优化参数。 job_type 否 String
返回日期值是当前周的第几天。 weekofyear weekofyear(string date) INT 返回指定日期是一年中的第几周，范围为0到53。 year year(string date) INT 返回指定日期中的年份。 父主题： 日期函数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
