检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或
费的情况。 基于以上场景,DLI提供了队列弹性扩缩容定时任务功能。用户可以根据自己的业务周期或者使用情况,基于现有队列规格,在不同的时间或者周期内设置不同的队列大小,以满足自己的业务需求,节约成本。 本节操作仅适用于普通队列,不适用于弹性资源池队列。 使用弹性扩缩容定时任务注意事项
java样例代码 开发说明 本样例只适用于MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
CHECK(boolExpression) 参数描述 表1 ADD CONSTRAINT参数描述 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。
VACUUM[database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` [RETAIN num HOURS] [DRY RUN]; 参数描述 表1 VACUUM参数 参数 描述 database_name Dat
测试地址连通性根据redis的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 在Redis客户端中执行如下命令,向不同的key中插入数据,以hash形式存储: HMSET redisSource order_id 202103241000000001 order_channel
[db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database名称。如果未指定,将选择当前database。 table_name 需要删除的Table名称。 注意事项 在该命令中,IF EXISTS和db_name是可选配置。
source/sinks参数说明 参数名称 是否必选 参数类型 说明 name 否 String 输入流或输出流名称。 records 否 Long 总记录数。 corrupted_records 否 Long 脏数据记录数。 示例 请求样例 { "job_ids": [298765, 298766]
显示角色 功能描述 显示所有的角色或者显示当前database下绑定到“user_name”的角色。 语法格式 1 SHOW [ALL] ROLES [user_name]; 关键字 ALL:显示所有的角色。 注意事项 ALL关键字与user_name不可同时存在。 示例 显示绑定到该用户的所有角色。
标准的JSON格式对象,格式为{Key:Value, Key:Value,...} path 是 STRING 表示在json中的path,以$开头。不同字符的含义如下: $表示根节点。 .表示子节点。 []表示[number]表示数组下标,从0开始。 *表示Wildcard for [],返回整个数组。*不支持转义。
需要按顺序调度执行以下SQL: run compaction on <database name>. <table1>; run clean on <database name>. <table1>; run archivelog on <database name>.<table1>; run compaction
startingOffsets = params.get("startOffset"); // 消费组标识,同一个消费组下的不同客户端可以同时消费同一个通道 String groupId = params.get("groupId");
DLI跨源连接报错找不到子网怎么办? 跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办? 创建RDS跨源表提示空指针错误怎么办? 对跨源DWS表执行insert overwrite操作,报错:org.postgresql.util.PSQLException:
描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 log_file_path_pattern log file的路径,支持正则匹配 否 merge 执行show_logfile_records时,通过merge控制是否将多个log file中的record合并在一起返回
table_name 需要查询的表的表名,支持database.tablename格式 示例 call show_hoodie_properties(table => "hudi_table5"); 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 SELECT
scala样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
ull值。coalesce函数可用于将null转换为零。 聚合函数的子句 排序order by 有些聚合函数可能会因为输入值的顺序不同而导致产生不同的结果,可以通过在聚合函数中使用order by子句来指定此顺序。 array_agg(x ORDER BY y DESC); array_agg(x
审计与日志 DLI对接云审计服务 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表
pyspark样例代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置
加上分区顺序中当前行之前或等于当前行的行数。排名在序列中不一定连续。 DENSE_RANK() 返回值在一组值中的排名。结果是一加先前分配的等级值。与函数 rank 不同,dense_rank 不会在排名序列中产生间隙。 ROW_NUMBER() 在窗口分区内根据 rows 的排序为每一行分配一个唯一的序列号,从一开始。ROW_NUMBER