检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic 否 String 当作业异常时,向该SMN主题推送告警信息。 restart_when_exception 否 Boolean 是否开启作业异常自动重启。默认为“false”。 idle_state_retention
resources 否 Array of strings 该模块包含的资源包名列表。 details 否 Array of body 分组资源包的详细信息。具体请参考表5。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。
days值为NULL时,返回NULL。 返回值说明 返回DATE类型的日期值,格式为yyyy-mm-dd。 startdate非DATE或STRING类型时,返回报错,错误信息:data type mismatch; startdate为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL; st
days值为NULL时,返回NULL。 返回值说明 返回DATE类型的日期值,格式为yyyy-mm-dd。 startdate非DATE或STRING类型时,返回报错,错误信息:data type mismatch; startdate为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL; st
hive_sync.enable指定为false。 指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息,查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。
values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时需要指定Schema信息,如果select子句或者values中字段数量与CSS表的Schema字段数量不匹配时,系统将报错。 类型不一致时不一定报错,例如插入i
状态码 状态码 描述 200 IEF 系统事件处理成功。 400 请求错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: IEF相关API(废弃)
*”日志。 打开已下载的“gc.log.*”日志,搜索“Full GC”关键字,查看日志中是否有时间连续,并且频繁出现“Full GC”的日志信息。 图5 Full GC日志 FullGC问题原因定位和解决: 原因1 小文件过多:当一个表中的小文件过多时,可能会造成Driver内存FullGC。
print(e) return 查询所有作业 DLI提供查询所有作业的接口。您可以使用该接口执行查询当前工程下的所有作业的信息并获取查询结果。示例代码如下: 1 2 3 4 5 6 7 8 def list_all_sql_jobs(dli_client):
作业的计费包括存储计费和计算计费,Flink作业和Spark作业的计费只有计算计费。 示例价格仅供参考,实际计算请以DLI产品价格详情中的信息为准。 更多示例参考DLI产品价格详情。 计费构成分析 基于此案例,可详细计算出按需计费和包年/包月两种不同的计费模式的消费情况。 此案例
One-pass算法,O(1)均摊时空复杂度。 随机森林结构仅构造一次,模型更新仅仅是节点数据分布值的更新。 节点存储多个窗口的数据分布信息,能够检测数据分布变化。 异常检测和模型更新在同一个代码框架中完成。 语法格式 1 SRF_UNSUP(ARRAY[字段1, 字段2, .
values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时需要指定Schema信息,如果select子句或者values中字段数量与CSS表的Schema字段数量不匹配时,系统将报错。 类型不一致时不一定报错,例如插入i
状态码 状态码 描述 200 批量运行作业成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Flink作业相关API
tbl_path Delta表在obs桶中的存储位置。 using 参数delta,定义和创建Delta table table_comment 表的描述信息。 location_path Delta表的存储位置,当前版本通过表名创建Delta表时必须指定,且只支持obs路径,指定该路径Delta
南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶,并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。
您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 修改完成后,单击“确定”,保存弹性资源池的企业项目信息。 相关操作 如需修改队列企业项目请参考分配队列至项目。 父主题: 管理弹性资源池
kafka专享版” ,单击“kafka实例名称 > 消费组” ,选择具体的消费组名称,查看消费组的指标信息。 图1 消费组 反压状态 反压状态是通过周期性对taskManager线程的栈信息采样,计算被阻塞在请求输出Buffer的线程比率来确定,默认情况下,比率在0.1以下为OK,0.1到0
根据用户的需求,向订阅终端主动推送消息。可用于连接云服务、向多个协议推送消息以及集成在产生或使用通知的任何其他应用程序等场景。SMN的更多信息,请参见《消息通知服务用户指南》。 语法格式 create table smnSink ( attr_name attr_type
'connector.channel' = 'dis-output', 'format.type' = 'json' ); /** 统计car的静态信息 **/ INSERT INTO cars_infos_out SELECT cast(cast_int_to_string as
南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶,并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。