检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
显示与给定正则表达式或函数名匹配的函数。如果未提供正则表达式或名称,则显示所有函数。如果声明了USER或SYSTEM,那么将分别显示用户定义的Spark SQL函数和系统定义的Spark SQL函数。 示例 查看当前的所有函数。 1 SHOW FUNCTIONS; 父主题: 自定义函数
另外,由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件(例如l:“log4j.properties”或者“logback
1); 注意事项 cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理,不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
RENAME COLUMN addr.priv to province a.b.c 表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 系统响应 通过运行DESCRIBE命令查看表列修改。 父主题: Schema演进语法说明
单击“新增”,可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。 本例配置的扩缩容策略如图2所示。 图2 添加队列时配置扩缩容策略 表5 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略,默认优先级为1。 1
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 修改数据库的owner为scuser1。 { "new_owner": "scuser1"
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true, "message":
参数类型 描述 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 修改弹性资源池的描述信息、最大CU、最小CU。修改后的最小CU为78,修改后的最大CU为990。
用户并赋权。 参考《使用HBase客户端》使用1中创建的用户认证登录。“人机”用户第一次登录时需修改密码。 登录Manager界面,选择“系统 > 权限 > 用户”,选择新建用户,选择“更多 > 下载认证凭据”,保存后解压得到用户的keytab文件与krb5.conf文件。 创建MRS
table delta.`obs://bucket1/dbgms/h0` add constraint const_id check(id>0); 系统响应 可在执行历史或作业列表中查看任务运行成功或失败。 父主题: Delta DDL语法说明
`obs://bucket_name0/db0/delta_table0`; DESCRIBE DETAIL delta_table0; 系统响应 返回表的详细信息或统计信息。 表2 结果参数描述 参数名 参数含义 format 表的格式,在这里是delta id 表的唯一id name
参数类型 说明 is_success 是 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 task_id 是 Integer 请求id。 请求示例 测试队列与该地址“iam.xxx.com:443”的连通性。
参数名称 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。
细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
置path参数。 如果需要对指定分区进行clustering,参考格式:predicate => "dt = '2023-08-28'" 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
适合需要自定义函数、UDF(用户定义函数)或特定库集成的复杂数据处理场景。可以利用Flink的生态系统,实现高级流处理逻辑和状态管理。详细操作请参考创建Flink Jar作业。 适用于实时数据监控、实时推荐系统等需要快速响应的场景。 Flink Jar作业适用于需要自定义流处理逻辑、复杂的状态管理或特定库集成的数据分析场景。
Debezium JSON解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。在很多情况下,利用这个特性非常的有用,例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史,等等。 参数说明 表1 参数 是否必选
OpenSource SQL作业创建Flink作业。 选择Flink版本:1.15。仅Flink 1.15及以上版本支持AOM监控。 在作业运行后约30s后,系统上报作业的监控指标至AOM Prometheus实例。 步骤4:在AOM仪表盘中查看监控指标 DLI支持的Prometheus监控指标请参