检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务时,如果触发了监控列表中的关键操作,那么CTS会在记录操作日志的同时,向相关订阅者实时发送通知。 DLI的作业日志 在创建DLI作业时,可以在作业编辑页面,通过保存作业日志功能,将作业运行时的日志信息保存到OBS。 查询作业日志信息,参考查看DLI SQL日志。 作业日志为日常
对于获取用户Token接口,接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体 响应消息体通常以结构化格式返回,与响应消息头中Cont
metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤、快速检索等操作。可以是1个到8个,以“,”分隔,包括对应metric下所有tagk的值。 注意事项 创建DLI表时,不需要指定timestamp和value字
默认为1。 VARBINARY 变长二进制数据。需要带上前缀X,如:X'65683F',暂不支持指定长度的二进制字符串。 JSON 取值可以是a JSON object、a JSON array、a JSON number、a JSON string、true、false or
(property_name = property_value, property_name = property_value, ...)。 视图可以包含Limit和ORDER BY子句,如果关联视图的查询语句也包含了这类子句,则最后执行结果将根据视图的子句运算后得到。例如视图V指定了返回5条数据,而关联查询为select
shell命令查看表信息。其中,“hbtest”是要查询的表名。 describe 'hbtest' (可选)如果不存在对应的HBase表,可以创建该表,具体的命令是: create ‘hbtest’, ‘info’, ‘detail’ 其中,“hbtest”是表名,其余为列族名。
件大小和入湖速度之间进行权衡,Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”,以强制新数据写入新的文件组,或设置为更高的值以确保新数据被“填充”到现有小的文件组中,直到达到指定大小为止,但其会增加摄取延迟。
bulk_insert:该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而upsert和insert操作可以很好的控制小文件。 upsert: 默认操作类型。Hudi会根据主键进行判断即将插入的数据是否包含更新数据,如果包含则执行upsert,否则执行insert。
csv.field-delimiter 否 , String 字段分隔符 (默认','),必须为单字符。您可以使用反斜杠字符指定一些特殊字符,例如 '\t' 代表制表符。 您也可以通过 unicode 编码在纯 SQL 文本中指定一些特殊字符,例如'csv.field-delimiter'
》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
ndex为database,type为table,但绝不等同)。 说明: ES 6.X版本中,单个Index只支持唯一type,type名可以自定义。 ES 7.X版本中,单个Index将使用“_doc”作为type名,不再支持自定义。若访问ES 7.X版本时,该参数只需要填写index即可。
"[0:2]"时,表示读取的分区范围是1-3,包括分区1、分区2和分区3,范围设置要在dis相应通道的范围内。 connector.offset 否 用户可以根据需求设置该参数的数值,读取数据的起始位置,与start-time不能同时设置。 connector.start-time 否 DIS数据读取从该起始时间的数据。
ateutil。 关于Python SDK的获取与安装请参考SDK获取与安装。 使用SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,具体操作请参考初始化DLI客户端
cleanbackup/hoodie_repair_backup_20230527'); 注意事项 命令只清理无效的parquet文件。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
由DLI提供的元数据服务 SQL权限:不支持。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
(推荐使用)DWS服务自研的DWS Connector:更关注于直接与DWS的性能与交互,用户能够更加灵活便捷的与DWS进行数据的读写操作。 您可以通过自定义函数(UDF)的方式使用DWS自研的DWS Connector。自定义函数操作请参考自定义函数。 DWS-Connector的使
执行compaction后再执行clean和archive,由于clean和archivelog对资源要求较小,为避免资源浪费,使用DataArts调度的话可以compaction作为一个任务,clean、archive作为一个任务分别配置不同的资源执行来节省资源使用。 执行资源 Compacti
string)); INSERT INTO test_row values row(row(1, 'test')); --多字段表复杂类型可以直接插入 CREATE TABLE test_multy_value(id int, col row(c1 int, c2 string));
本文将介绍按需计费的DLI数据扫描量计费的计费规则。 适用场景 DLI服务预置了名为default的队列供用户体验。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。队列资源按需分配,按扫描量计费,适用于测试项目场景,资源消耗不高,按需计费成本更低,无需任何预付款。 约束限制 仅default队列适用按数据扫描量计费。
checkopoint;允许DLI在访问DEW获取数据访问凭证、允许访问Catalog获取元数据等场景。 委托名称不可与系统默认委托重复,即不可以是dli_admin_agency、dli_management_agency、dli_data_clean_agency。 引擎版本低于Flink1