检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tc/hosts”信息。 field_delimiter 否 属性分隔符。 当编码格式为“csv”时,需要设置属性分隔符,用户可以自定义,如:“,”。 注意事项 使用文件系统输出流的Flink作业必须开启checkpoint,保证作业的一致性。 为了避免数据丢失或者数据被覆盖,开
登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待操作的增强型跨源连接,单击操作列的“更多 > 权限管理”。 授权: 在权限管理页面,权限设置选择“授权”。 输入项目ID。 单击“确定”,授予该项目弹性资源池的操作权限。 回收权限: 在权限管理页面,权限设置选择“回收”。
创建并管理SQL作业模板 创建SQL作业模板 使用SQL作业模板开发并提交SQL作业 DLI预置的SQL模板中TPC-H样例数据说明 父主题: 使用DLI提交SQL作业
} 状态码 状态码 描述 200 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 请参见错误码。 父主题: Flink作业管理相关API
表生命周期管理 创建表时指定表的生命周期 修改表生命周期的时间 禁止或恢复表的生命周期 父主题: 表相关
设置DLI作业桶 查看Flink作业提交日志 用户可以通过查看提交日志排查提交作业异常的故障。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 在“提交日志”页签,可以查看提交作业的过程信息。
数据迁移概览 本文为您介绍数据迁移的最佳实践,您可以通过云数据迁移服务CDM轻松的将其他云服务或者业务平台的数据迁移至DLI。 DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。
管理弹性资源池 查看弹性资源池的基本信息 弹性资源池权限管理 弹性资源池关联队列 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 调整弹性资源池中队列的扩缩容策略 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 创建弹性资源池和队列
DESCRIBE_TABLE 显示表信息 √ × √ √ 弹性资源池 DROP 删除弹性资源池 √ × √ √ RESOURCE_MANAGEMENT 弹性资源池资源管理 √ × √ √ SCALE 扩缩容弹性资源池 √ × √ √ UPDATE 更新弹性资源池 √ × √ √ CREATE 创建弹性资源池
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号,不能使用双引号。 语法格式 1 2
了解dli_management_agency请参考DLI委托概述。 创建自定义委托并在作业中配置委托的操作步骤请参考自定义DLI委托权限。 父主题: DLI权限管理类
在当前database或指定database中创建一个新的角色。 只有在database上具有CREATE_ROLE权限的用户才能创建角色。例如:管理员用户、database的owner用户和被赋予了CREATE_ROLE权限的其他用户。 每个角色必须属于且只能属于一个database。
调整作业优先级需要停止作业后编辑,并重新提交运行才能生效。 设置Flink Opensource SQL作业优先级 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要待配置的作业,单击操作列下的编辑。 单击“自定义配置”。 在“自定义配置”中输入如下语句,先开启动态扩缩容功能,再设置作业优先级。
data)时由于数据源不支持事务性,在系统故障或队列资源重启后,可能会导致数据重复或数据不一致等问题。 为了避免这种情况,建议优先选择支持事务性的数据源,如Hudi类型数据源,该类数据源具备ACID(Atomicity、Consistency、Isolation、Durability)能力,有助于确保数据的一致性和准确性。
} 状态码 状态码 描述 200 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 请参见错误码。 父主题: Flink作业管理相关API
当未指定“db_name”时,表示在当前database中删除角色。 示例 1 DROP ROLE role1; 父主题: 数据权限管理
开、全部收起。 创建SQL作业模板 创建模板的操作入口有两个,分别在“作业模板”和“SQL编辑器”页面。 在“作业模板”页面创建模板。 在管理控制台左侧,单击“作业模板”>“SQL模板”。 在“SQL模板”页面,单击右上角“创建模板”。 输入模板名称、语句和描述信息,详细参数介绍请参见表1。
rk driver实例数”和“最大预拉起spark driver实例数”不生效。 设置队列属性操作步骤 在DLI管理控制台的左侧导航栏中,单击“资源管理 > 队列管理”。 在对应队列的“操作”列,选择“更多 > 属性设置”。 进入队列属性设置页面,设置对应的属性值。属性值相参数说明请参考表1
池“dli_resource_pool”、队列“dli_queue_01”。 登录DLI管理控制台。 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数。
data)时由于数据源不支持事务性,在系统故障或队列资源重启后,可能会导致数据重复或数据不一致等问题。 为了避免这种情况,建议优先选择支持事务性的数据源,如Hudi类型数据源,该类数据源具备ACID(Atomicity、Consistency、Isolation、Durability)能力,有助于确保数据的一致性和准确性。