检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。
数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。
value.format 是 无 String 用于反序列化和序列化Kafka消息的值部分的格式。 注意: format和value.format只能配置其中一个，如果同时配置两个，则会有冲突。 请参考Format页面以获取更多详细信息和格式参数。 value.fields-include
作业性能。 管理员用户和作业的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。
pyspark样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编
pyspark样例代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置
配置权限足够的委托。 配置OBS桶。 开启Checkpoint，使用Hudi时必须开启Checkpoint。 提交作业并检查Flink UI和日志： 直接点击界面右上角的”提交”，在跳转界面再次确认参数无误后，点击底部”立即启动”。完成提交后自动跳转至Flink作业界面，此处可以筛
数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。
数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。
properties”或者“logback.xml”等） 日志输出实现类JAR包（例如：log4j等） 在此基础上，taskmanager.log会随日志文件大小和时间滚动。 父主题： Flink作业性能调优类
注意事项 管理员用户和弹性资源池的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其队列权限。 给新用户设置弹性资源池权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。
0.0.0/16，单击“确定”完成安全组规则添加。 RDS和DWS实例属于同一VPC和子网下？ 是，执行7。RDS和DWS实例在同一VPC和子网，不用再重复创建增强型跨源连接。 否，执行5。RDS和DWS实例分别在两个VPC和子网下，则要分别创建增强型跨源连接打通网络。 登录DLI
'keytab'='./user.keytab' Keytab的地址。 'principal' ='krbtest' 认证用户名。 krb5.conf和keytab文件获取请具体参考开启Kerberos认证时的相关配置文件操作说明。 插入数据 1 sparkSession.sql("insert
数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。
Flink1.15基础镜像内置了3.1.62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码中“pom文件配置”说明。 pom文件配置中依赖包
archive.file.cleaner.policy 清理归档文件的策略：目前仅支持KEEP_ARCHIVED_FILES_BY_SIZE和KEEP_ARCHIVED_FILES_BY_DAYS两种策略，默认策略为KEEP_ARCHIVED_FILES_BY_DAYS。 KEEP
影响。管理员用户和全局变量的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其全局变量权限。 给新用户设置全局变量权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点，可以从地区和终端节点获取。 响应示例如下，例如DLI服务部署的区域为“cn-north-4”，相应消息体中查找“name”为“cn-north-4”，其
状态码如表4所示。 表4 状态码 状态码 描述 200 更新模板成功。 400 输入参数无效。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： Flink作业模板相关API
生命周期只能在表级别设置，不能在分区级设置。为分区表指定的生命周期，适用于该表所有的分区。 生命周期设置后，DLI表和OBS表支持数据备份，OBS表的备份目录需要手工设置。且备份目录应选择在并行文件系统上，备份目录必须和原表目录在同一个桶上，备份目录不能与原表相同目录或者子目录同名。 语法格式 DataSource语法创建DLI表
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
