检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本例以配置RDS实例访问凭据为例，介绍在DEW保存凭据，并在DLI作业中的配置示例。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”，配置凭据基本信息 凭据名称：待创建凭据的名称。本例名称为secretInfo。 凭据值：配置RDS实例的用户名和密码。
击“下一步”。 配置同名作业策略。单击“下一步”。 勾选“配置同名替换”，如果待导入的作业名已存在，则覆盖已存在的作业配置，并且作业状态重置为草稿。 不勾选“配置同名替换”，如果待导入的作业名已存在，则不导入同名作业的配置。 确认“配置文件”和“同名作业策略”配置无误。单击“确认导入”，完成导入作业。
该操作修改了作业对资源的算法逻辑。 例如原有的算法的语句是执行加减运算，当前需要恢复的状态将算法的语句修改成为乘除取余的运算，是无法从checkpoint直接恢复的。 修改“静态流图” 不支持 该操作修改了作业对资源的算法逻辑。 修改“单TM所占CU数”参数 支持 对计算资源的修改并没有影响到作业算法或算子的运行逻辑。
作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink
查子网配置。客户的DWS子网关联了网络ACL。网络ACL是一个子网级别的可选安全层，通过与子网关联的出方向/入方向规则控制出入子网的数据流。关联子网后，网络ACL默认拒绝所有出入子网的流量，直至添加放通规则。通过检查，发现其DWS所在子网关联的ACL是空值。 因此，问题的原因是：
40129846432481707e-45 ~3.40282346638528860e+38，正或负 FLOAT 用法说明： 分布式查询使用高性能硬件指令进行单精度或者双精度运算时，由于每次执行的顺序不一样，在调用聚合函数，比如SUM()，AVG()，特别是当数据规模非常大时，达到数千万甚至数十亿，其运算结果可
工程配置”中配置桶信息。当作业完成后，系统会自动将结果存储到这个默认桶中。 使用DLI作业桶读取查询结果，需具备以下条件： 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。作业桶配置请参考配置DLI作业桶。 提交工单申请开启查询结果写入桶特性的白名单。 确保执行作业
即Spark作业的计算资源。 如果创建队列的用户不是管理员用户，在创建队列后，需要管理员用户赋权后才可使用。关于赋权的具体操作请参考《数据湖探索用户指南》。 操作步骤 在使用JDBC的机器中安装JDK，JDK版本为1.7或以上版本，并配置环境变量。 参考下载并安装JDBC驱动包章节，获取DLI
可以选择配置作业名称，便于识别和筛选。 配置”应用程序”，路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交DLI作业所需的委托。自定义委托请参考创建DLI自定义委托 。 配置”主类（--class）”，为上一步中所写的，包含需要执行的main函数的类的全名。
操作场景 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI的相关标签策略，则需按照标
Spark增量读取Hudi参数规范 规则 增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重写设置表的查询模式 如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询 示例 以SQL作业为例： 配置参数 hoodie.tableName.consume.mode=INCREMENTAL
删除增强型跨源连接 操作场景 本节操作介绍在控制台删除不再使用的增强型跨源连接的操作步骤。 操作步骤 登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。 选择待删除的增强型跨源连接，单击操作列的“删除”。 单击“是”，删除增强型跨源连接。 父主题： 管理增强型跨源连接
您还可以通过自定义镜像增强DLI的计算环境，通过下载DLI提供的基础镜像再按需制作自定义镜像，将作业运行需要的依赖（文件、jar包或者软件）、私有能力等内置到自定义镜像中，可以改变Spark作业和Flink作业的容器运行环境，增强作业的功能、性能。 例如，在自定义镜像中加入机器学习相关的Python
RENAME TABLE 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME语法用于修改表名。 命令语法 ALTER TABLE tableName RENAME TO newTableName
使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。 语法格式 在Spark Jar作业编辑界面，选择配置优化参数，配置信息如下: 不同的OBS桶，使用不同的AKSK认证信息。 可以使用如下配置方式，根据桶指定不同的AKSK信息，参数说明详见表1。 spark.hadoop
String USER_BUCKET_NAME为用户的桶名，需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在CSMS通用凭证中的键key， 其Key对应的value为用户的AK（Access Key Id），需要具备访问OBS对应桶的权限。 flink.hadoop.fs.obs
增强型跨源支持项目级授权，授权后，项目内的用户具备该增强型跨源连接的操作权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。 如果被授权的项目属于相同区域（region）的不同用户，
提交作业时提示作业桶权限不足怎么办？ 问题描述 已经配置DLI作业桶，且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办？ 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有
SQL编辑页面，自定义配置中修改该参数值，即可达到快速修改UDF参数值的目的。 操作步骤 自定义函数中提供了可选的open(FunctionContext context)方法，FunctionContext具备参数传递功能，自定义配置项通过此对象来传递。自定义函数的参数传递操作步骤如下：
SQL编辑页面，自定义配置中修改该参数值，即可达到快速修改UDF参数值的目的。 操作步骤 自定义函数中提供了可选的open(FunctionContext context)方法，FunctionContext具备参数传递功能，自定义配置项通过此对象来传递。自定义函数的参数传递操作步骤如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
