检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考增强型跨源连接,根据MySQL所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置MySQL的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据MySQL的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 在MySQL中的fl
部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理”页面,单击“操作”列“更多”中的“测试地址连通性”,验证队
aegg包所在的OBS路径。 分组设置和分组名称根据情况选择。 单击“确定”完成程序包上传。 在报错的Spark作业编辑页面,“依赖python文件”处选择已上传的egg程序包,重新运行Spark作业。 pyspark作业对接MySQL,需要创建跨源链接,打通DLI和RDS之间的网络。 通过管理控制
部数据源之间的网络。 当前Spark作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理”页面,单击“操作”列“更多”中的“测试地址连通性”,验证队
作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full
String 自定义主机名称。 ip 否 String 主机对应的IPv4地址。 表8 连接状态 名称 含义 说明 CREATING 创建中 跨源连接正在创建中。 ACTIVE 已激活 跨源连接创建成功,与目的地址连接正常。 FAILED 失败 跨源连接创建失败。 请求示例 无 响应示例
[自定义组织名称]/[自定义镜像名称]:[自定义镜像版本] --build-arg BASE_IMG=[DLI基础镜像地址] -f Dockerfile . DLI基础镜像地址为获取DLI基础镜像中的镜像地址。 示例: docker build -t mydli/spark:2.4 --build-arg
MySQL所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置RDS MySQL的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根RDS的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 登录RDS My
nk弹性资源池。参考“修改主机信息”章节描述,在增强型跨源中增加MRS的主机信息。 设置Doris的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据Doris的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 创建Doris表,并插入10条数据。创建语句如下:
输出通道类型,dcs_redis表示输出到分布式缓存服务的Redis存储系统中。 cluster_address 是 Redis实例连接地址。 password 否 Redis实例连接密码,当设置为免密访问时,省略该配置项。 value_type 是 指定数据类型。支持的数据类型包括:string, list
队列管理”,选择操作的队列,如本示例的“general_test”,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,根据4中获取的RDS连接信息,地址栏输入“RDS内网地址:RDS数据库端口”,单击“测试”测试到RDS网络是否可达。 步骤四:运行作业 本示例通过在弹性资源池队列上运行一个Flink
池。参考“修改主机信息”章节描述,在增强型跨源中增加MRS的主机信息。 设置HBase和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据HBase和Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考MRS
池。参考“修改主机信息”章节描述,在增强型跨源中增加MRS的主机信息。 设置HBase和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据HBase和Kafka的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 参考MRS
j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano 作为后端运行,导入来自Keras的神经网络模型,可以借此导入Theano、Tensorflow、Caffe、CNTK等主流学习框架的模型。 语法格式 1 2 3 4 5 6 7 --
仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池不支持访问公网。 如有访问公网诉求请您参考配置DLI 队列与公网网络连通。 弹性资源池CU设置、弹性资源池中添加/删除队列、修改弹性资源池中队列的扩缩容策略、系统自动触发弹性资源池扩缩容时都会引起弹性资源池CU的变化,部
j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano 作为后端运行,导入来自Keras的神经网络模型,可以借此导入Theano、Tensorflow、Caffe、CNTK等主流学习框架的模型。 语法格式 1 2 3 4 5 6 7 --
池。参考“修改主机信息”章节描述,在增强型跨源中增加MRS的主机信息。 设置HBase和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据HBase和Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考MRS
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 响应示例 { "is_success":
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。
池。参考“修改主机信息”章节描述,在增强型跨源中增加MRS的主机信息。 设置Doris和kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据Doris和Kafka的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 参考MRS