检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认true，true表示根据storage_size排序结果，false表示根据文件数量排序结果 否 示例 call show_fs_path_detail(path=>'obs://bucket/path/hudi_mor/dt=2021-08-28', is_sub=>false, sort=>true); 返回结果
在估算存储费用时，请特别注意，DLI采用压缩存储，通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中，则DLI服务不收取存储费用，对应的费用由OBS服务收取。 扫描量计费 按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。 当前仅适用于在默认def
json_string STRING 需要解析的JSON对象，使用字符串表示。 json_path STRING 解析JSON的路径表达式，使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式 表达式 说明 $ 根对象 [] 数组下标 * 数组通配符 .
json_string STRING 需要解析的JSON对象，使用字符串表示。 json_path STRING 解析JSON的路径表达式，使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式 表达式 说明 $ 根对象 [] 数组下标 * 数组通配符 .
步操作。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v1.0/{project_id}/jobs/submit-job 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，
详细请参见导出查询结果。 URI URI格式： GET/v1.0/{project_id}/queues/{queue_name}/jobs/{job_id}?page-size=size¤t-page=page_number 参数说明 表1 URI 参数 名称 是否必选
<scope>provided</scope> </dependency> 使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flin
<scope>provided</scope> </dependency> 使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flin
如何呢？其实PySpark本身就已经考虑到这一点了，那就是基于PyFiles来指定依赖，在DLI Spark作业页面中可以直接选取存放在OBS上的Python第三方程序库（支持zip、egg等）。 图1 Spark作业编辑页面 对于依赖的这个Python第三方库的压缩包有一定的结
DLI程序包标签管理 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对程序包组或程序包添加标签。 在DLI管理控制台单击“数据管理 > 程序包管理”。 选择程序包，单击操作列的“更多 > 标签”，显示当前程序包组或程序包的标签信息。
"message": "Submit restart job success, it need some time to cancel jobs, please wait for a while and check job status", "job_id": "d9039
创建并使用跨源链接 场景描述 本章节指导用户通过API创建增强型跨源连接。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口，具体请参考《虚拟私有云
监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务，提供基于云监控服务的资源监控能力，帮
典型场景示例：配置DLI 与公网网络连通 操作场景 公网数据源指的是可以通过互联网访问的数据源。这些数据源资源有一个公网IP地址，配置DLI与公网网络联通可以实现对这些数据源的访问。 本节提供了详细的操作指导，介绍如何通过设置SNAT规则和配置路由信息，实现DLI服务与公网的网络连接。
ON NULL INPUT SYMBOL com.test.udf.hetuengine.functions.repeat URI obs://bucket/user/hetuserver/udf/data/hetu_udf/udf-test-0.0.1-SNAPSHOT.jar
产品优势 纯SQL操作 DLI提供标准SQL接口，用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载，存算分离架构，存储资源和计算资源按需灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算
（推荐）介绍的API。 URI URI格式： POST /v1.0/{project_id}/queues/{queue_name}/jobs/submit-job 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是 项目编号，用于资源隔离。获取方式请参考获取项目ID。
自拓展输入流 用户可通过编写代码实现从想要的云生态或者开源生态获取数据，作为Flink作业的输入数据。 语法格式 1 2 3 4 5 6 7 CREATE SOURCE STREAM stream_id (attr_name attr_type (',' attr_name attr_type)*
自拓展输入流 用户可通过编写代码实现从想要的云生态或者开源生态获取数据，作为Flink作业的输入数据。 语法格式 1 2 3 4 5 6 7 CREATE SOURCE STREAM stream_id (attr_name attr_type (',' attr_name attr_type)*
在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复，因此未恢复成功前，作业无法处理数据。 因扩缩容过程中需要触发savepoint，因此必须配置obs桶，并保存日志，同时请注意开启checkpoint。 扩缩容检测周期不要设置过小，避免频繁启停作业。 扩缩容作业恢复过程中的时间长短受sa
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
