检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用： 存储费用：静态网站文件存储在OBS中产生的存储费用。 请求费用：用户访问OBS中存储的静态网站文件时产生的请求费用。
gaussdb：DWS集群默认数据库。 DWS集群连接地址：请参见获取集群连接地址进行获取。如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。
Management，简称IAM）进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制华为云资源的访问。 通过IAM，您可以在华为云账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。 目前包括角色（粗粒度授权）和策略（细粒度授权）。具体的权限
所有算子反压都正常（绿色），但存在数据堆积 该场景说明性能瓶颈点在Source，主要是受数据读取速度影响，此时可以通过增加Kafka分区数并增加source并发解决。 作业一个算子反压高（红色），而其后续的多个并行算子都不存在反压（绿色） 该场景说明性能瓶颈在Vertex2或者Vertex3，为了进一
Spark查询语句性能提升。 元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能，提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性
g:MFAPresent 全局级 Boolean 用户登录时是否使用了多因素认证。 g:UserId 全局级 String 当前登录的用户ID。 g:UserName 全局级 String 当前登录的用户名。 g:ProjectName 全局级 String 当前登录的Project。 g:DomainName
权限管理 权限管理概述 DLI自定义策略 DLI资源 DLI请求条件 常用操作与系统权限关系
ordersSink select * from ordersSource; 常见问题 Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ org.apache.kafka.common.errors.TimeoutException: Timeout expired while
择“按需计费”，勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与DDS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，
择“按需计费”，勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与DDS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，
d}/routes 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 跨源id。 请求参数 表2 请求参数 名称 是否必选 参数类型
具体操作请参考迁移外部数据源数据至DLI。 图1 迁移数据至DLI 配置DLI读写外部数据源 如果您不想将数据导入OBS或DLI的数据表中，DLI提供的跨源访问能力，支持您在不迁移数据的情况下，连接数据源获取数据并进行数据分析。 具体操作请参考配置DLI读写外部数据源数据的操作流程。 父主题： 数据迁移与数据传输
ordersSink select * from ordersSource; 常见问题 Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ org.apache.kafka.common.errors.TimeoutException: Timeout expired while
GET/v1.0/{project_id}/queues 资源相关 表3 资源相关API&SDK的对应关系表 Class Method Java Method Python Method API packageResources 上传资源包 uploadResources upload_resource
通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。 -W：默认管理员用户的密码。 在命
"area_street_name":"d3","region_name":"e1"} 常见问题 Q：若Flink作业日志中有如下报错信息，应该怎么解决？ java.io.IOException: unable to open JDBC writer ... Caused by: org
"area_street_name":"d3","region_name":"e1"} 常见问题 Q：若Flink作业日志中有如下报错信息，应该怎么解决？ java.io.IOException: unable to open JDBC writer ... Caused by: org
project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数 是否必选 参数类型 说明 user_name 否 String 被赋权的用户名称，该用户将有权访问指定的数据库或数据表，被收回或者更新访问权限。 grant_project_id
"area_street_name":"d4","region_name":"e1"} 常见问题 Q：Flink作业日志中有如下报错信息应该怎么解决？ org.apache.zookeeper.ClientCnxn$SessionTimeoutException: Client session
DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放在数据引擎（CloudTable和DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
