检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎样获取DLI作业样例（Demo） 为了方便用户更好地使用DLI，DLI服务提供了供作业开发的Demo样例，您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下： dli-flink-demo：开发Flink作业时的样例代码参考。例如，样例代码实现读取Kafka源表数据写
如果添加预定义标签，用户需要预先在标签管理服务中创建好预定义标签，然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面，然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 在输入框中输入标签键名称。
口功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections
通用队列操作OBS表如何设置AK/SK （推荐）方案1：使用临时AK/SK 建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表1
因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections
数据源为云上的CSS服务时，网络互通需满足如下条件： i. CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下，同虚
费情况，以SMN的方式通知用户。 勾选后需配置下列参数： “SMN主题”： 选择一个自定义的SMN主题。如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。 开启Checkpoint 设置是否开启作业快照，开启后可基于Checkpoint（一致性检查点）恢复作业。
在创建的新数据源配置界面中，输入Kyuubi服务器的相关信息。 数据库名称：本例输入DLI数据库名称。 服务器地址：输入Kyuubi服务器的弹性公网IP地址。 端口号：Kyuubi服务监听的端口，使用Hive Thrift协议，默认端口10009。 用户名和密码：按需配置Kyuubi服务器用户名和密码。 按需配置其他高级选项，然后保存配置。
'collection'='xx', 'passwdauth' = 'xxx', 'encryption' = 'true' ); 文档数据库服务（Document Database Service，简称DDS）完全兼容MongoDB协议，因此语法中使用“using mongo options”。
怎样将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中，“SQL队列”用于运行SQL作业，“通用队列”兼容老版本的Spark队列，用于运行Spark作业和Flink作业。 通过以下步骤，可以将老版本的“Spark队列”转换为新的“通用队列”。
Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时，提示启动失败，作业日志报如下错误信息。 FATAL: Already too many clients, active/non-active/reserved:
2024年5月起，新用户可以直接使用DLI服务的“查询结果写入桶”功能，无需开通白名单。 对于2024年5月之前首次使用DLI服务的用户，如需使用“查询结果写入桶”功能，必须提交工单申请加入白名单。 DLI支持13种数据类型，每一种类型都可以映射成一种JDBC类型，在使用JDBC连接服务器时，请使用映射后的JAVA类型，映射关系如表1所示。
ink可以通过这种方式保证幂等性。为保证输出结果符合预期，建议为表定义主键。 Append模式：Flink 会将所有记录解释为INSERT消息，如果底层数据库发生主键或唯一约束违规，INSERT操作可能会失败。 语法格式 1 2 3 4 5 6 7 8 9 10
lustering服务来重写数据以优化Hudi数据湖文件的布局。 Clustering服务可以异步或同步运行，Clustering会添加了一种新的REPLACE操作类型，该操作类型将在Hudi元数据时间轴中标记Clustering操作。 Clustering服务基于Hudi的MV
如果添加预定义标签，用户需要预先在标签管理服务中创建好预定义标签，然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面，然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 在输入框中输入标签键名称。
如果添加预定义标签，用户需要预先在标签管理服务中创建好预定义标签，然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面，然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 在输入框中输入标签键名称。
登录到DIS管理控制台，在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建，请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的DIS通道和Flink作业处于统一区域。 如果DIS通道已创建，则检查确保DIS通道和Flink流作业是否处于同一区域。
Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”，根据“主机名称”和“业务IP”获取ZooKeeper的主机信息。 在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”，
SQL编辑器的输入区域，修改 LOCATION，执行引擎选择Spark，配置队列，数据目录，数据库，随后点击右上角的执行按钮，提交作业。 注意：由DLI提供元数据服务时，暂不支持创建Hudi内表，即必须配置 LOCATION 指向 OBS 路径。 CREATE TABLE hudi_table (id
EXISTS hudidb.h1; 权限需求 由DLI提供的元数据服务 SQL权限： database table DROP_TABLE 无 细粒度权限：dli:table:dropTable 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
