检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题： 配置DLI读写外部数据源数据
Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南 Flink作业委托场景开发指导
orders.proctime as dim on orders.product_id = dim.product_id; 连接Kafka集群，向Kafka的source topic中插入如下测试数据： {"product_id": "product_id_11", "user_name":
迁移外部数据源数据至DLI 迁移数据场景概述 使用CDM迁移数据至DLI 典型场景示例：迁移Hive数据至DLI 典型场景示例：迁移Kafka数据至DLI 典型场景示例：迁移Elasticsearch数据至DLI 典型场景示例：迁移RDS数据至DLI 典型场景示例：迁移DWS数据至DLI
如何调用API 构造请求 认证鉴权 返回结果
"auth_infos": [{ "auth_info_name": "lan2", "datasource_type": "Kafka_SSL", "create_time": 1578896427789, "update_time": 1578898059677
"auth_infos": [{ "auth_info_name": "lan2", "datasource_type": "Kafka_SSL", "create_time": 1578896427789, "update_time": 1578898059677
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句，包括group by、join等场景时，常常会出现数据倾斜的问题，导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle
常见迁移场景与迁移方案指导 数据类型 迁移工具 迁移方案 Hive CDM 典型场景示例：迁移Hive数据至DLI Kafka CDM 典型场景示例：迁移Kafka数据至DLI Elasticsearch CDM 典型场景示例：迁移Elasticsearch数据至DLI RDS CDM
提供分布式数据集。 高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用户自建的Kafka、MRS-Kafka、DMS-Kafka消费数据，单CU每秒吞吐1千~2万条消息。 细粒度权限管理：P公司内部有N个子部门，子部门之间需要对数据进行共享和隔
12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表。 Flink 1.12新增支持小文件合并功能。 Flink 1.12新增支持Redis维表、RDS维表。 父主题：
如何申请扩大配额 如何申请扩大配额？ 登录管理控制台。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 单击“申请扩大配额”。 在“新建工单”页面，根据您的需求，填写相关参数。 其中，“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后，勾选协议并单击“提交”。
如何获取AK/SK？ 访问密钥即AK/SK（Access Key ID/Secret Access Key），表示一组密钥对，用于验证调用API发起请求的访问者身份，与密码的功能相似。用户通过调用API接口进行云资源管理（如创建集群）时，需要使用成对的AK/SK进行加密签名，确保
如何获取项目ID？ 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理（如创建集群）时，需要提供项目ID。 查看项目ID步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1：FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致： 登录DLI控制台，单击“作业管理 > SQL作业”。 在SQL作业页面，在对应作业的“操作”列，单击“更多 > 归档日志”。
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL： INSERT OVERWRITE TABLE tablename select
"error_code": "AS.0001" } 其中，error_code表示错误码，error_msg表示错误描述信息。 父主题： 如何调用API
Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证：https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/SK认证
开源生态 通过对等连接建立与其他VPC的网络连接后，用户可以在DLI的租户独享集群中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据，作为Flink作业的输入数据。
本章节介绍REST API请求的组成，并以调用IAM服务的获取用户Token来说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
