检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 说明 source 是 STRING 待搜索的字符串。 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。 start_position 否 BIGINT 起始位置，必须大于0。不指定时默认为1，表示从source的第一个字符开始匹配。 occurrence
添加订阅 登录DLI控制台，创建Flink作业，编写作业SQL后，配置“运行参数”。本例对重点参数加以说明，其他参数根据业务情况自行配置即可。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量
资源相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 上传资源包 您可以使用DLI提供的接口上传资源包，示例代码如下： 1 2 3 4 5 6 7 8 9 private static void
是否必选 参数类型 说明 source 是 STRING 源字符串。 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。pattern为空串时返回报错。 start_position 否 BIGINT BIGINT类型常量。搜索的开始位置。不指定时默认值为1。
图2 添加订阅 登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量 = 管理单元 + (算子总并行数 /
参数类型 说明 source 是 STRING 待替换的字符 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。更多正则表达式编写规范，请参见正则表达式规范。pattern为空串时返回报错。 replace_string 是 STRING 将匹配pattern的字符串替换后的字符串。
配置DLI与数据源网络连通（增强型跨源连接） 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题： 配置DLI读写外部数据源数据
以子项目为单位进行授权，使得用户仅能访问特定子项目中资源，使得资源的权限控制更加精确。 在我的凭证下，您可以查看项目ID。 图1 项目隔离模型 企业项目 企业项目是项目的升级版，针对企业不同项目间资源的分组和管理，是逻辑隔离。企业项目中可以包含多个区域的资源，且项目中的资源可以迁入迁出。
参数类型 说明 source 是 STRING 待替换的字符。 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。更多正则表达式编写规范，请参见正则表达式规范。pattern为空串时返回报错。 replace_string 是 STRING 将匹配pattern的字符串替换后的字符串。
DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意：若仅使用SSL类型，则需要同时配置'properties.security.protocol '= 'SSL'; 若使用SASL_SSL类型，则需要同时配置'properties.security.protocol'
描述 包类型 支持的包类型如下： JAR：用户jar文件 PyFile：用户Python文件 File：用户文件 ModelFile：用户AI模型文件 OBS路径 选择对应程序包的OBS路径。 说明： 程序包需提前上传至OBS服务中保存。 只支持选择文件。 分组设置 可选择“已有分组”，“创建新分组”或“不分组”。
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI
SQL作业，单击操作列的“编辑”。 在作业配置区域配置委托信息： 在“运行参数”页签，确保所选的Flink版本为1.15。 单击“自定义配置”，配置新建的委托key-value信息，key固定为“flink.dli.job.agency.name”，value为自定义的委托名。 本例配置为：flink.dli
开启HTTPS后，需要在创建表的with子句中添加如下配置参数： 'doris.enable.https' = 'true' 'doris.ignore.https.ca' = 'true' 请在Flink“作业编辑”页面选择“运行参数配置”，选择“开启Checkpoint”，否则会导致
OBS表必选参数。 data_path 否 String 新增OBS表数据的存储路径，必须是OBS的路径。 说明： OBS表必选参数。 data_path配置的OBS桶路径不建议为根目录，否则清空表数据的时候，就会把根目录内的数据全部清除，导致数据丢失。 with_column_header 否
OBS 2.0支持 自定义镜像 DLI支持容器部署的集群。在容器集群中，Spark作业和Flink作业相关组件都运行在容器中，通过下载DLI提供的自定义镜像，可以改变Spark作业和Flink作业的容器运行环境。例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式方便地帮助用户进行功能扩展。
如果选择Spark版本为3.3.1时，支持在Spark参数（--conf)配置计算资源规格参数， 且conf的配置优先级高于高级配置指定的值。 参数对应关系请参考表5。 在Spark参数（--conf)配置计算资源规格参数时，可以配置单位 M/G/K，不配置时候默认单位为byte。 表5 控制台计算资源规
指定文件类型。包括以下文件类型： jar：用户jar文件。 pyFile：用户python文件。 file：用户文件。 modelFile：用户AI模型文件。 tags 否 String 指定标签过滤。 请求消息 无请求参数。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明
仅在选择“包年/包月”计费模式，或在“按需计费”模式中，勾选“专属资源模式”时，支持配置“高级配置”。 在“队列类型”中，勾选了“专属资源模式”后，需要选择“高级选项”。 默认配置：由系统自动配置。 自定义配置： “网段”：支持指定使用的网段范围。如需使用DLI增强型跨源，DLI队列网段与数据源网段不能重合。
通过DLI跨源连接进行数据分析。 客户端工具操作指导 使用Spark-submit提交作业 使用UDF操作指导 第三方BI工具对接DLI 配置BI工具连接DLI 跨源数据分析操作指导 概述 对接HBase 对接OpenTSDB 对接RDS 对接DWS 对接CSS 常见问题 了解更多常见问题、案例和解决方案
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
