检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在管理控制台左侧，单击“数据管理”>“程序包管理”。 在“程序包管理”页面，单击右上角“创建”可创建程序包。 在“创建程序包”对话框，参见表1设置相关参数。 图1 创建程序包 表1 参数说明 参数名称 描述 包类型 支持的包类型如下： JAR：用户jar文件 PyFile：用户Python文件 File：用户文件
进入标签管理页面，显示当前队列的标签信息。 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框，配置参数。配置完成一个标签，单击“添加”将标签添加到输入框中。 图1 添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择： 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签，用
进入标签管理页面，显示当前队列的标签信息。 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框，配置参数。配置完成一个标签，单击“添加”将标签添加到输入框中。 图1 添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择： 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签，用
交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。 图1 迁移数据至DLI 常见迁移场景与迁移方案指导 表1 常见迁移场景与迁移方案指导 数据类型 迁移工具 迁移方案 Hive CDM 典型场景示例：迁移Hive数据至DLI
跨源认证权限 请参考跨源认证权限管理 无 场景举例 某互联网公司，主要有游戏和音乐两大业务，使用DLI服务进行用户行为分析，辅助决策。 如图1所示，“基础平台组组长”在华为云上申请了一个“租户管理员”（Tenant Administrator）账号，用于管理和使用华为云的各个服务
在管理控制台左侧，单击“作业模板”>“SQL模板”。 在“SQL模板”页面，单击右上角“创建模板”。 输入模板名称、语句和描述信息，详细参数介绍请参见表1。 图1 创建模板 表1 参数说明 参数名称 描述 名称 模板名称。 模板名称只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能为空。
rdPayload。 useCache 是否在Spark中缓存表的relation，无需用户配置。为支持SparkSQL中对COW表增量视图查询，默认将COW表中该值置为false。 示例 创建非分区表 create table if not exists hudi_table0
com:8080。 DLI跨源分析流程 使用DLI进行跨源分析，需要先建立跨源连接，打通DLI和数据源的网络，再开发不同的作业访问数据源。 图1 跨源分析流程 相关链接 创建方式 增强型跨源连接 管理控制台操作 创建增强型跨源连接 API接口 《增强型跨源连接相关API》 父主题：
单击“下一步”，配置队列的扩缩容策略。 单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。 本例配置的扩缩容策略如图2所示。 图2 添加队列时配置扩缩容策略 表4 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中的优先级数字越大表示优先
关于弹性资源池的实际CUs、已使用CUs、CU范围、规格（包周期CU）的含义请参考弹性资源池的实际CUs、已使用CUs、CU范围、规格（包周期CU）。 图1 弹性资源池基本信息 弹性资源池的实际CUs、已使用CUs、CU范围、规格（包周期CU） 实际CUs：弹性资源池当前分配的可用CUs。 实际CUs的计算公式：
table-type 否 String 数据库表类型。包含以下类型： DLI表： MANAGED_TABLE OBS表 ： EXTERNAL_TABLE 视图：VIRTUAL_VIEW datasource-type 否 String 数据源类型。包括如下类型： CloudTable CSS DLI
第一行凭据值的键为MySQLUsername，值为RDS实例的用户名。 第二行凭据值的键为MySQLPassword，值为RDS实例的密码。 图1 设置凭据值 按需完成其他参数的配置后，单击“确定”保存凭据。 了解更多请参考创建通用凭据。 在DLI作业中使用DEW中创建的凭据 以Fl
KEYSTORE(密钥和证书)文件的OBS路径。 Keystore密码 keystore(密钥和证书)密码。 Key密码 keystore中的私钥密码。 图1 创建认证信息-Kafka_SSL 访问开启SASL_SSL认证的Kafka。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。
本示例创建的RDS MySQL数据库版本选择为：8.0。 具体步骤可参考：购买RDS for MySQL实例。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建Kafka的Topic：创建Kafka生产消费数据的Topic。
到“Message stream modified (41)”问题。 keytab路径 上传“user.keytab”文件的OBS路径。 图1 创建认证信息-Kerberos 访问MRS的表。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。
table_type 是 String 表类型，包括： “MANAGED”：DLI表。 “EXTERNAL”：OBS表。 “VIEW”：VIEW视图。 data_type 否 String 数据类型，包括“csv”，“parquet”，“orc”，“json”和“avro”。 data_location
消息到 Flink SQL 系统中。在很多情况下，利用这个特性非常的有用，例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史，等等。 参数说明 表1 参数 是否必选 默认值 是否必选 描述 format 是 (none) String 指定要使用的格式，此处应为
限设置”，进入“用户权限信息”页面，可以对用户进行全局变量的授权、设置权限和回收权限。 单击页面右上角“授权”可对用户进行全局变量授权。 图1 全局变量授权 表2 全局变量参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明： 该用户名称是已存在的IAM用户名称。 权限设置
单击“权限信息”右侧的“授权”，弹出“授权”对话框。 填写“用户名”，并勾选对应权限。 单击“确定”，完成新用户的添加。 待设置的参数说明如表1所示。 图1 Flink作业授权 表1 Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明： 该用户名称是已存在的IAM用户
如需允许DLI在执行作业时访问DEW数据，需要提供IAM委托将DEW数据操作权限委托给DLI，允许DLI服务以您的身份访问DEW服务。 图1 DLI云服务委托 DLI委托 在使用DLI前，为了确保正常使用DLI的功能，建议先进行DLI委托权限设置。 DLI默认提供以下类型的委托
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
