检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买套餐包 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 在队列管理页面,单击“购买套餐包”。 在“购买套餐包”页面设置相关参数。 表2 参数说明 参数名称 描述 区域 选择所在的区域。
根据如下公式,配置作业的“CU数量”、“管理单元”与“最大并行数”: CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 例如:CU数量为9CU,管理单元为1CU,最大并行数为16,则计算单元为8CU。
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。
到DLI管理控制台,左侧导航栏选择“作业管理 > Flink作业”,在对应的Flink作业所在行,操作列下单击“编辑”。 在“运行参数”下,查看“开启Checkpoint”参数是否开启。
ClickHouseBalancer实例的http端口: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 服务配置”,角色选择“ClickHouseBalancer”,搜索“lb_http_port”配置参数值。默认为:21425。
登录DLI管理控制台。 在“购买队列”页面,进行资源选型和参数配置。 购买队列的详细参数请参考创建队列。 步骤3:创建专属队列和VPC的增强型跨源连接 在DLI管理控制台左侧导航栏中,选择“跨源管理”。 选择“增强型跨源”页签,单击左上角的“创建”按钮。
可选择16CU,64CU和256CU三种规格,如果需要更大配额,请联系DLI服务管理员。 cidr_in_vpc 否 String vpc的网段。 cidr_in_mgntsubnet 否 String 管理子网的网段。
ClickHouseBalancer实例的http端口: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 服务配置”,角色选择“ClickHouseBalancer”,搜索“lb_http_port”配置参数值。默认为:21425。
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。
Flink作业管理界面对用户进行授权时提示用户不存在怎么办? 手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复? DLI使用SMN主题,提示SMN主题不存在,怎么处理? 父主题: Flink作业类
在DLI管理控制台,单击“资源管理 > 弹性资源池 ”。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 按需配置弹性资源池的相关参数,完成弹性资源池的购买。 在弹性资源池中创建队列。 创建完弹性资源池后,弹性资源池可以添加一个或多个队列用于后续作业的运行。
DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库(具体可以参考”数据湖探索 DLI > 用户指南> 数据管理> 程序包管理> 内置依赖包”),这些常用算法库满足了大部分用户的使用场景。对于用户的PySpark程序依赖了内置算法库未提供的程序库该如何呢?
如果权限缺失可以联系管理员添加对应的OBS桶权限。 父主题: SQL作业运维类
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
怎样管理在DLI上运行的作业 怎样修改DLI上已经创建好的表的字段名称?
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。
操作步骤 (可选)在公有云管理控制台上方的“服务列表”中选择“大数据”中的“数据湖探索”,单击右上角的“常用链接”下载DLI JDBC驱动(例如:dli-jdbc-1.1.0-jar-with-dependencies-jdk1.7.jar)。具体操作请参考下载JDBC驱动包。
jars Array of Strings 用户已上传到DLI资源管理系统的类型为jar的程序包名。也支持指定OBS路径,例如:obs://桶名/包名。 pyFiles Array of Strings 用户已上传到DLI资源管理系统的类型为pyFile的资源包名。
表1 DLI获取访问凭据相关开发指南 类型 操作指导 说明 FLink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector