检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
park的融合机器学习相关的大数据分析程序。传统上，通常是直接基于pip把Python库安装到执行机器上，对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源，那如何来保证用户可以更好的运行他的程序呢？ DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库（具体可以参考”数据湖探索
若计算任务超时或失败，则当次计算不收取费用。 数据的存储方式（包括格式，是否压缩）对计算费用有直接的影响。 假设Parquet格式文件为原CSV文件大小的1/4，则数据扫描费用为原CSV文件扫描费用的1/4。 计费规则 表1 数据扫描量计费规则 类型 资源 说明 数据扫描 数据扫描量 仅default
使用DEW管理数据源访问凭证 使用DLI提交作业读写外部数据源数据时，需要妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后，您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。
如果输入为STRING类型，会隐式转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE类型的值。 如果col值为NULL时，该行不参与计算。 示例代码 计算所有仓库的商品（items）总和。命令示例如下： select sum(items) from warehouse;
法创建OBS表。 语法格式 恢复非分区表数据到指定版本的备份数据 RESTORE TABLE [db_name.]table_name TO VERSION 'version_id'; 恢复分区表的单个分区数据为指定版本的备份数据 RESTORE TABLE [db_name.]table_name
例如访问DWS大批量数据库数据时设置并发数，启动多任务的方式运行，避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partitionColumn和numPartitions相关字段和案例描述。 调整Spark作业的Executor数量，分配更多的资源用于Spark作业的运行。 父主题：
OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新增的分区信息刷新到元数据库中，通过“SHOW PARTITIONS table_name”命令查看新增的分区。 分区目录名称必须按照指定的格式输入，即“tablepat
参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...，field 表“DLI_TEST”中的列值，需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。
参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...，field 表“DLI_TEST”中的列值，需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。
SQL作业如何指定表的部分字段进行表数据的插入 如果你需要将数据插入到表中，但只想指定部分字段，你可以使用INSERT INTO语句结合SELECT子句来实现。 但是DLI目前不支持直接在INSERT INTO语句中指定部分列字段进行数据插入，您需要确保在SELECT子句中选择的字段数量和
在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Spark作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 Spark 2.4.5及以上版本的作业支持设置作业优先级。
够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数 “Checkpoint间隔”为两次触发Checkpoint的间隔，执行Checkpoint机制会影响实时计算性能，配置间隔时间需权衡对业务的性能影响及恢复时长，最好大于Checkpoint的完成时间，建议设置为5分钟。
参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...，field 表“DLI_TEST”中的列值，需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。
数据库 创建数据库 删除数据库 查看指定数据库 查看所有数据库 父主题： Spark SQL语法参考（即将下线）
数据类型 概述 原生数据类型 复杂数据类型 父主题： Spark SQL语法参考（即将下线）
跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后，无需在作业中重复配置数据源认证信息，提高数据源认证的安全性，便于DLI安全访问数据源。 SQL作业、Flink 1.12版本的跨源访问场景，使用DLI提供的“跨源认证”管理数据源的访问凭证。 本节操作为您介绍DLI提供的跨源认证的使用方法。 约束与限制
参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...，field 表“DLI_TEST”中的列值，需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。
法创建OBS表。 语法格式 恢复非分区表数据到指定版本的备份数据 RESTORE TABLE [db_name.]table_name TO VERSION 'version_id'; 恢复分区表的单个分区数据为指定版本的备份数据 RESTORE TABLE [db_name.]table_name
在欧洲地区有业务的用户，可以选择“欧洲-巴黎”区域。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。 如何选择可用区？ 是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
