检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Raw Format将 null 值编码成 byte[] 类型的 null。这样在 upsert-kafka 中使用时可能会有限制，因为 upsert-kafka 将 null 值视为 墓碑消息（在键上删除）。因此，如果该字段可能具有 null 值，我们建议避免使用 upsert-kafka
DATABASE testDB SET DBPROPERTIES ('Edited-by' = 'John'); 不支持 不支持 修改数据库在OBS上的文件存放路径 ALTER DATABASE testDB SET LOCATION 'obs://bucketName/filePath';
CSS集群上创建索引并导入数据。 登录CSS管理控制台，选择“集群管理 > Elasticsearch”。 在集群管理界面，在已创建的CSS集群的“操作”列，单击“Kibana”访问集群。 在Kibana的左侧导航中选择“Dev Tools”，进入到Console界面。 在Cons
图1 MRS Manager上创建Kafka用户 在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”，获取ZooKeeper角色实例的IP地址，为后续步骤做准备。 在MRS Manager上，选择“集群 > 待操作的集群名称
支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解
Configurations”。 在“Run/Debug Configurations”界面，勾选：include dependencies with "Provided" scope。 单击“OK”完成应用配置。 使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的
元字段，仅读取指定表的 changelog 记录。正则字符串与 Java 的 Pattern 兼容。 元数据 元数据可以在 DDL 中作为只读（虚拟）meta 列声明。 Format的元数据只有在相应的连接器使用元数据时才可用。目前，只有Kafka连接器。 表2 元数据 Key 数据类型 说明 database
提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。 提交DLI Spark jar作业时，Hudi参数可以通过Spark datasource API的option来配置。 或者，在提交作业时配置到"Spark参数(--conf)"
登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数据源连接。具体参数配置可以参考在CDM上配置DLI连接。 图4 创建DLI数据源连接
将写好的python代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 创建Spark作业完成后，在控制台单击右上角“执行”提交作业，页面显示“批处理作业提交成功”说明Spark作业提交成功，可以在Spark作业管理页面查看提交的作业的状态和日志。
新建Flink Jar作业 功能介绍 该API用于创建用户自定义的作业，目前支持jar格式，运行在独享队列中。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/flink-jobs 参数说明
默认会表示为 2.7E-8。当此选项设为 true 时，则会表示为 0.000000027。 元数据 元数据可以在 DDL 中作为只读（虚拟）meta 列声明。 Format的元数据只有在相应的连接器使用元数据时才可用。目前，只有Kafka连接器。 表3 元数据 Key 数据类型 说明 schema
授权”即可，填写其他作业执行参数后，再执行作业。 图2 在DLI Spark作业编辑页面，选择自定义镜像 图3 Spark作业镜像授权操作 图4 在DLI Flink jar作业编辑页面，选择自定义镜像 在使用API时，在作业参数中指定image参数，即可使用自定义镜像运行作业。
导入数据（废弃） 功能介绍 该API用于将数据从文件导入DLI或OBS表，目前仅支持将OBS上的数据导入DLI或OBS中。 当前接口已废弃，不推荐使用。 该API为异步操作。 导入数据时，可选择已存在的OBS桶路径或新建OBS桶路径，但只能指定一个OBS桶路径。 若需新建OBS桶，需遵守以下命名规则：
Filesystem 注意事项 Maxwell应用允许将每个变动消息精确地传递一次。在这种情况下，Flink在消费Maxwell生成的消息时处理得很好。如果Maxwell应用程序在at-least-once模式处理，它可能向Kafka写入重复的改动消息，Flink将获得重复的消息。这
SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 Upsert Kafka 始终以upsert方式工作，并且需要在DDL中定义主键。在具有相同主键值的消息按序存储在同一个分区的前提下，在
允许读写原始（基于字节）值作为单个列。 注意: 这种格式将 null 值编码成 byte[] 类型的 null。这样在 upsert-kafka 中使用时可能会有限制，因为 upsert-kafka 将 null 值视为 墓碑消息（在键上删除）。因此，如果该字段可能具有 null 值，我们建议避免使用 upsert-kafka
存储费用：静态网站文件存储在OBS中产生的存储费用。 请求费用：用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用：用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关，请根据自己的业务进行预估。 DLI 在创建S
<!-- ... --> </plugins> <!-- ... --> </build> 随后在main目录下创建scala目录，并新建一个包，随后在包目录下新建一个scala文件，在里面写入： import org.apache.spark.sql.catalyst
S时，需要打通DLI和对应数据源VPC之间的网络，才能实现数据互通。 本节操作介绍在控制台创建增强型跨源连接的操作步骤。 约束和限制 表1 增强型跨源连接约束限制 限制项 说明 适用场景约束限制 在同一队列中，如果同时使用了经典型跨源连接和增强型跨源连接，则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
