检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出数据的压缩方法。目前支持gzip、bzip2、deflate压缩方式;若不希望压缩,则输入none。 queue_name 否 String 指定执行该任务的队列。若不指定队列,将采用default队列执行操作。 export_mode 否 String 导出模式,目前支持“ErrorIfEx
或月或天),下游读取该表进行ETL计算时通常会使用时间范围进行裁剪(例如最近一天、一月、一年),这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小,以更新数据为主,新增较少,表数据量比较稳定,且读取时通常需要全量读取做join之类的ETL计算,因此通常使用非分区表性能更好。
在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。 方法二:如果在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理
在“全局变量”页面,单击变量“操作”列中的“修改”,可修改对应的变量值。 如果同账号同项目下存在多个相同名称的全局变量时,需要将多余相同名称的全局变量删除,保证同账号同项目下唯一,此时具备该全局变量修改权限的用户均可以修改对应的变量值。 删除全局变量 在“全局变量”页面,单击变量“操作”列中的“删除”,可删除对应的变量。
创建安全组的操作指导请参考创建安全组,为安全组添加规则的操作指导请参考添加安全组规则。 更多信息请参考《分布式消息服务Kafka用户指南》中的“准备实例依赖资源”章节。 创建用于作业输入流的Kafka专享版实例 登录分布式消息服务Kafka管理控制台。 在管理控制台左上角选择区域。 在“Kafka专享版
在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。 方法二:若在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理
data_type 是 String 导出数据的存储格式,目前API支持csv和json格式。 queue_name 否 String 指定执行该任务的队列。若不指定队列,将采用default队列执行操作。 export_mode 否 String 导出模式,目前支持“ErrorIfEx
CREATE、ALTER、DROP TABLE等语句)、管理分区语句、失败的查询语句无需付费。 取消的查询,按取消查询时扫描的总数据量计费。 若计算任务超时或失败,则当次计算不收取费用。 数据的存储方式(包括格式,是否压缩)对计算费用有直接的影响。 假设Parquet格式文件为原CSV文件
在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。 方法二:如果在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理
”的作业不能终止。 当“终止”按钮为灰色时,表示无法执行终止操作。 重新执行:重新执行该作业。 SparkUI:单击后,将跳转至Spark任务运行情况界面。 说明: 新建队列,运行作业时会重新拉集群,大概需要10分钟左右才能拉好集群,在集群创建好之前单击SparkUI会导致缓存空
的),2GB在大数据计算过程中,处于单task读写可接受范围之内。 如果是单个Bucket的数据量超过了该值范围,可能会有什么影响? 读写任务可能会出现OOM的问题,解决方法就是提升单个task的内存占比。 读写性能下降,因为单个task的处理的数据量变大,导致处理耗时变大。 父主题:
作业。 “弹性资源池队列”对比“包年/包月”和“按需计费”计费模式队列有哪些优势? “包年/包月”和“按需计费”队列:固定资源规格,当作业任务对资源的请求量发生变化时,会导致队列资源浪费或者资源不足的问题。 弹性资源池队列:动态扩缩容,提高资源利用效率。 弹性资源池收费吗?弹性资源池中的队列收费吗?
表1 redis操作参数 参数 描述 host 需要连接的redis集群的IP。 获取方式为:登录华为云官网,之后搜索redis,进入“分布式缓存服务”,接着选择“缓存管理”,根据主机名称需要的IP,可选择其中任意一个IP进行复制即可(其中也包含了port信息),请参考图1。 port
在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。 方法二:如果在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理
Boolean 表示该列是否为分区列。“true”表示为分区列,“false”为非分区列,默认为“false”。 说明: 创建分区表时,需要保证表中至少有一列为非分区列。详见“请求样例”。 响应消息 表5 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean
日志归档地址,包含提交日志,Driver日志和Executor日志,在此处可以下载日志。 提交日志:跳转到提交日志的聚合展示界面,可以查看任务提交中的日志信息。 Driver日志:跳转到Driver日志的聚合展示界面,从上至下依次展示 spark.log, stderr.log以及stdout
sink算子的并行度。默认情况下,并行度是由框架决定,即与上游并行度一致。 分区扫描功能介绍 为了加速Source任务实例中的数据读取,Flink为JDBC表提供了分区扫描功能。以下参数定义了从多个任务并行读取时如何对表进行分区。 scan.partition.column:用于对输入进行分区的列
x”即可下载对应版本的JDBC驱动包。 JDBC驱动包命名为“huaweicloud-dli-jdbc-<version>.zip”,支持在所有平台(Linux、Windows等)所有版本中使用,且依赖JDK 1.7及以上版本。 下载的JDBC驱动包中包含了.bat(Windows)或
详细的弹性资源池创建流程可以参考创建弹性资源池并添加队列。 参数填写完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成弹性资源池创建。 弹性资源池创建任务提交后,会在弹性资源池管理界面的“状态”列显示当前资源池的创建状态,当状态显示为“可使用”时表示资源池可以正常使用。 步骤二:添加队列到弹性资源池
用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下