检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果测试地址可连通,页面上将提示地址可达。 如果测试地址不可连通,页面上将提示地址不可达,请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。 相关操作 创建跨源成功但测试网络连通性失败怎么办? 父主题: 管理队列
在“购买套餐包”页面设置相关参数。 表2 参数说明 参数名称 描述 区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 项目 每个区域默认对应一个项目,这个项目由系统预置。 套餐包类型 弹性资源池CU时套餐包:按照“CU时”收取计算费用
作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full
般为2.2204460492503131E-16。若两个浮点数的差值的绝对值在这个范围内就认为相等。 DECIMAL Decimal(p,s)表示数值中共有p位数,其中整数p-s位,小数s位。p表示可储存的最大十进制数的位数总数,小数点左右两侧都包括在内。有效位数p必须是1至最大
如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上服务RDS、MRS时,网络互通需满足如下条件: i. CDM集群与云
展示用户队列申请的CU数 ≥0 队列 5分钟 queue_job_launching_num 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queue_job_running_num 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟
Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据 问题现象 客户创建Flink SQL作业,消费Kafka后sink到es集群,作业执行成功,但无数据。 原因分析 查看客户作业脚本内容,排查无问题,作业执行成功,出现该问题可能的原因如下: 数据不准确。
更新程序包时提示权限不足怎么办? 问题现象 在程序包管理下,对已经存在的程序包进行更新操作时,提示如下报错信息: "error_code"*DLI.0003","error_msg":"Permission denied for resource ‘resources. xxx'
percentlie percentile函数用于计算精确百分位数,适用于小数据量。先对指定列升序排列,然后取第p位百分数的精确值。 命令格式 percentile(colname,DOUBLE p) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 colname 是 STRING类型
添加增强型跨源连接的路由信息 操作场景 路由即路由规则,在路由中通过配置目的地址、下一跳类型、下一跳地址等信息,来决定网络流量的走向。路由分为系统路由和自定义路由。 增强型跨源连接创建后,子网会自动关联系统默认路由。除了系统默认路由,您可以根据需要添加自定义路由规则,将指向目的地址的流量转发到指定的下一跳地址。
DECIMAL或INT 返回a的相反数,例如negative(2),返回-2。 percentlie percentile(colname,DOUBLE p) DOUBLE或ARRAY 计算精确百分位数,适用于小数据量。先对指定列升序排列,然后取精确的第p位百分数。p必须在0和1之间。 percentlie_approx
percentlie_approx percentile_approx函数用于计算近似百分位数,适用于大数据量。先对指定列升序排列,然后取第p位百分数最靠近的值。 命令格式 percentile_approx (colname,DOUBLE p) 参数说明 表1 参数说明 参数 是否必选
如购买按需计费的队列,在使用队列资源时,按照队列CU时进行计费。 以小时为单位进行结算。不足一小时按一小时计费,小时数按整点计算。队列CU时按需计费的计算费用=单价*CU数*小时数。 步骤1:创建并上传数据 创建CSV数据,例如,如图2所示test.csv: 图2 创建test.csv文件 在OBS上建桶obs-csv-parquet,并将test
ID。同一个数据库下,建议每个MySQL CDC作业配置不同的Server ID。 主要原因如下: MySQL SERVER会根据该ID来维护网络连接以及Binlog位点。因此如果有大量相同的Server ID的客户端一起连接MySQL SERVER,可能导致MySQL SERVER的CPU陡增,影响线上业务稳定性。
=实际TM数 * 单TM所占CU数 + 管理单元。 管理单元和TaskManager的内存总和= 实际TM数 * 设置的单个TM的内存 + 管理单元内存 如果配置了单 TM Slot数,实际TM数 = 并行数 / 单 TM Slot数。 如果没配置了单 TM Slot数 ,实际TM数
使用Hive语法创建DLI表 功能描述 使用Hive语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 Hive DLI表不支持在建表时指定多字符的分隔符。
getCheckpointConfig().setCheckpointTimeout(60000); // 设置checkpoint最大并发数 streamEnv.getCheckpointConfig().setMaxConcurrentCheckpoints(1);
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
n文件”处选择已上传的egg程序包,重新运行Spark作业。 pyspark作业对接MySQL,需要创建跨源链接,打通DLI和RDS之间的网络。 通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。 通过API创建跨源连接请参考《数据湖探索API参考》。 父主题: Spark作业开发类
配置DLI读写外部数据源数据的操作流程 配置DLI与数据源网络连通(增强型跨源连接) 使用DEW管理数据源访问凭证 使用DLI的跨源认证管理数据源访问凭证 管理增强型跨源连接 典型场景示例:配置DLI与内网数据源的网络联通 典型场景示例:配置DLI 与公网网络连通 父主题: 数据迁移与数据传输