检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资产识别与管理 DLI 可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签，各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成，为同一种应用拥有的资源实例设置
即开即用，Serverless架构。 需要较强的技术能力进行搭建、配置、运维。 高可用 具有跨AZ容灾能力。 无 高易用 学习成本 学习成本低，包含10年、上千个项目经验固化的调优参数。同时提供可视化智能调优界面。 学习成本高，需要了解上百个调优参数。 支持数据源 云上：OBS、RDS、DWS、CSS、MongoDB、Redis。
FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的，每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据，比如
是0到1之间的一个双精度值。x的值超出[0，1]范围将被截断为0或1值。low_color和high_color捕获用于水平条形图任一端的颜色。例如，如果x为0.5，宽度为80，low_color为0xFF0000，high_color为0x00FF00，则此函数将返回一个40个
、私有能力等内置到自定义镜像中，以此改变Spark作业和Flink作业的容器运行环境，增强作业的功能、性能。 例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式帮助用户实现功能扩展。 用户使用自定义镜像功能需要具备Docker相关的基础知识。 使用限制
使用Notebook实例提交DLI作业 Notebook是基于开源JupyterLab进行了深度优化的交互式数据分析挖掘模块，提供在线的开发和调试能力，用于编写和调测模型训练代码。完成DLI对接Notebook实例后，您可以基于Notebook提供的Web交互的开发环境同时完成代
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。 参数名称 参数描述 输入值 说明
个唯一的id值。 使用NULL值：如果您需要在插入数据时明确指定某些字段由数据库自动填充，可以在这些字段的位置填写NULL。这样，数据库会识别到这些字段应该由系统自动生成值，而不是由用户指定。 父主题： 增强型跨源连接类
在“设置”页输入驱动相关参数说明，单击“确定”创建驱动。 驱动参数配置说明请参考表2。 图2 编辑驱动连接 表2 驱动相关参数说明 参数 说明 驱动名称 命名为便于识别的名称，例如GaussDB Driver。 驱动类型 驱动类型选择Generic。 类名 类名 URL模板 DLI JDBC驱动连接的格式：
已购买套餐包，但使用量超出套餐包额度，进而产生按需费用，同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包，为什么仍然产生按需计费？识别产生按需计费的原因，并重新选择正确的套餐包或保证账户中的余额充足。 未购买套餐包，在按需计费模式下账户的余额不足。 欠费影响 包年/包月
正则表达式函数 概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外： 使用多行模式（通过（？m）标志启用）时，只有\ n被识别为行终止符。 此外，不支持（？d）标志，因此不能使用。 大小写区分模式（通过（？i）标志启用）时，总是以unicode的模式去实现。同时，
成的目录创建非DLI表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 语法格式 1 2 3 4 5 6 7 create table filesystemSink ( attr_name
权限管理”，对新用户进行授权操作时提示“No such user. userName:xxxx.”错误。 解决方案 以上问题可能是由于系统未能识别新用户信息。 请按以下步骤进行排查： 请先确认下当前用户名是否存在。 如该用户存在，请重新登录管理控制台，系统才能对该用户进行授权操作。 父主题：
FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的，每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据，比如
的融合机器学习相关的大数据分析程序。传统上，通常是直接基于pip把Python库安装到执行机器上，对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源，那如何来保证用户可以更好的运行他的程序呢？ DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库（具体可以参考”数据湖探索
操作场景 DLI允许用户提交编译为Jar包的Spark作业，Jar包中包含了Jar作业执行所需的代码和依赖信息，用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。在提交Spark Jar作业前，将程序包上传至OBS，并将程序包与数据和作业参数一起提交以运行作业。 本例介绍
行计划详细列出了执行查询所需的各个步骤，例如表扫描、索引查找、连接操作（如内连接、外连接）、排序和聚合等。执行计划可以帮助分析查询的性能，识别可能的性能瓶颈，通过了解查询的执行逻辑，并根据这些信息调整查询或数据库结构，以提高SQL查询效率。 本节操作介绍怎样在DLI管理控制台查看SQL执行计划。
无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID，采用UUID（通用唯一识别码）格式。 state 否 String 批处理作业的状态，请参见创建批处理作业中的表7。 请求示例 无 响应示例 {"id":"0a32
资源管理和作业调度。 支持多种数据源和格式，提供了丰富的数据处理能力，包括但不限于SQL查询、机器学习等。详细操作请参考创建Spark作业。 适用于大规模数据处理和分析，如机器学习训练、日志分析、大规模数据挖掘等场景。 管理Jar作业的程序包 DLI允许用户提交编译为Jar包的F
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
