检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
帮助您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。 Flink OpenSource
TABLESAMPLE 有BERNOULLI和SYSTEM两种采样方法。 这两种采样方法都不允许限制结果集返回的行数。 BERNOULLI 每一行都将基于指定的采样率选择到采样表中。当使用Bernoulli方法对表进行采样时，将扫描表的所有物理块并跳过某些行（基于采样百分比和运行时计算的随机值之间的
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间，监控指标列表和维度定义，用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标 指标ID
Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 注意事项 如果需要查看管理员或者其他用户账号下的数据库，需要对当前用户授权（显示权限），具体请参考常用操作与系统权限关系。 数据库和表赋权对象具有层级关系，用户赋予上
增强型跨源连接标签管理 操作场景 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI
binary，varbinary，timestamp，date，char，array，row，map，struct。其余的类型在数据查询和运算时支持。 通常情况下，大部分非复合数据类型都可以通过字面量加字符串的方式来输入，示例为添加了一个json格式的字符串： select json
表1 UPDATE参数 参数 描述 database_name Database名称，由字母、数字和下划线（_）组成。 table_name Database中的表名，由字母、数字和下划线（_）组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。
) 语法说明 WITH OPTIONS catalog属性一般用于存储关于这个catalog额外的信息。 表达式 key1=val1 中的键和值都是字符串文本常量。 父主题： DDL语法定义
CSV Format 功能描述 CSV Format 允许我们基于CSV schema 进行解析和生成CSV 数据。目前的CSV schema 是基于table schema 推导出来的。更多具体使用可参考开源社区文档：CSV Format。 支持的Connector Kafka
UPDATE 命令功能 UPDATE命令根据列表达式和可选的过滤条件更新Hudi表。 命令格式 UPDATE tableIdentifier SET column = EXPRESSION(,column = EXPRESSION) [ WHERE boolExpression]
在实际使用过程中，开发人员创建了数据库和表，交给测试人员进行测试，测试人员测试完成后，再交给运维人员进行体验，在这种情况下，可以通过修改数据库的所有者，将数据转移给其他所有者。 修改数据库所有者 修改数据库所有者的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面修改数据库所有者。
从Catalog中删除指定的数据库，如果数据库中包含表，则必须在执行DROP DATABASE之前删除这些表，或者使用CASCADE模式。 DATABASE和SCHEMA在概念上是等价可互换的。 [IF EXISTS] 如果目标数据库不存在，将抛出错误提示，但如果使用了IF EXISTS子句则不会抛出错误提示。
SCHEMA 语法 DESCRIBE DATABASE|SCHEMA [EXTENDED] schema_name 描述 DATABASE和SCHEMA在此处是等价的，可互换的，它们有这相同的含义。 该语法用于显示SCHEMA的名称、注释、还有它在文件系统上的根路径。 可选项EX
查询作业详细信息 功能介绍 该API用于查询作业的详细信息，如作业的databasename、tablename、file size和export mode等信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET/v1.0/{project_i
LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime 如何执行这个函数。目前，只支持 JAVA 和 SCALA，且函数的默认语言为 JAVA。 示例 创建一个名为STRINGBACK的函数 create function STRINGBACK
部分，partToExtract的有效值包括HOST，PATH， QUERY， REF， PROTOCOL， AUTHORITY，FILE和USERINFO。 例如：parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1'
Avro Format 功能描述 Avro格式允许基于Avro schema 读取和写入Avro 数据。目前，Avro schema 从表schema 推导。 更多具体使用可参考开源社区文档：Avro Format。 支持的Connector Kafka Upsert Kafka
orc.compress=SNAPPY 来允许spappy压缩。 数据类型映射 Orc 格式类型的映射和 Apache Hive 是兼容的。下面的表格列出了 Flink 类型的数据和 Orc 类型的数据的映射关系。 表2 数据类型映射 Flink数据类型 Orc物理类型 Orc逻辑类型
col2 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存（items）和价格（price）的协方差。命令示例如下： select covar_pop(items，price) from warehouse; 返回结果如下：
col2 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存（items）和价格（price）的样本协方差。命令示例如下： select covar_samp(items,price) from warehouse;
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
