检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cleaning用于清理Hudi表不再需要的老版本数据文件 (parquet文件或者log文件)，减轻存储压力，提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL（设置如下参数，随后执行任意写入SQL时，在满足条件时触发） hoodie.clean.automatic=true
file：用户文件 modelfile：用户AI模型文件 obs_jar_paths：对应资源包的OBS路径，参数构成为：{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如："https://bucketname.obs.cn-north-1.myhuaweicloud
理控制台操作请参考增强型跨源连接。 请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。 如何添加IP域名映射，请参见《数据湖探索用户指南》中增强型跨源连接章节。 该语法不支持安全集群。 语法格式 单个RowKey 1 2 3 4 5 6
在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据类型。然而以反射方式提取数据类型并不总是成功的，比如UDTF中常见的Row类型。 由于 Flink 1.11 起引入了新的自定义函数注册接口，使用
统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关数据，方便及时了解数据变化，有针对性地调整营销策略。而如何高效快捷地统计这些指标呢？ 假设平台已经将每个商品的订单信息实时写入Kafka中，这些信息包括订单ID、订单生成的渠道(即web方式、ap
name=xxx&age=25#teacher');--teacher url_extract_host(url)→ varchar 描述：返回url中的主机域名。 select url_extract_host('http://www.example.com:80/stu/index.html?
Flink作业咨询类 如何给子用户授权查看Flink作业？ Flink作业怎样设置“异常自动重启”？ Flink作业如何保存作业日志？ Flink作业管理界面对用户进行授权时提示用户不存在怎么办？ 手动停止了Flink作业，再次启动时怎样从指定Checkpoint恢复？ DLI使
variable deleteGlobalVariable 修改全局变量 variable updateGlobalVariable 关于如何开通云审计服务以及如何查看追踪事件，请参考《云审计服务快速入门》中的相关章节。 关于云审计服务事件结构的关键字段详解，请参见《云审计服务用户指南》中的事件结构和事件样例。
print(status) 在提交导入作业前，可选择通过data_type参数设置导入数据的类型，例如将data_type设置为csv。csv数据的具体格式通可过options参数设置，例如：csv的分隔符，转义符等。 当OBS桶目录下有文件夹和文件同名时，加载数据会优先
[403] 该报错信息可能是由于OBS桶被设置为了DLI日志桶，而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询： 检查该OBS桶是否被设置为了DLI日志桶。 在DLI管理控制台的“全局配置 > 作业配置” 页查看对应OBS桶是否被设置为了DLI日志桶，日志桶不能用于DLI的其他业务功能中。
Jar作业是否支持上传配置文件，要如何操作？ Flink Jar 包冲突，导致作业提交失败 Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 Flink Jar作业运行报错，报错信息为Authentication failed Flink Jar作业设置backend为OBS，报错不支持OBS文件系统
file：用户文件 modelfile：用户AI模型文件 paths：对应资源包的OBS路径，参数构成为：{bucketName}.{obs域名}/{jarPath}/{jarName}。 description：资源包描述信息。 查询所有资源包 DLI提供查询资源列表接口，您可以
如果您持有多个到期日不同的资源，或者您的队列资源到期日不同，可以将到期日统一设置到一个日期，便于日常管理和续费。 图4展示了用户将两个不同时间到期的资源，同时续费一个月，并设置“统一到期日”后的效果对比。 图4 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题： 续费
获取Spark作业委托临时凭证用于访问其他云服务 功能描述 DLI提供了一个通用接口，可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。
过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。 password ：默认管理员用户的密码。
org/cn/docs/0.11.0/configurations/。 提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。 提交DLI Spark jar作业时，Hudi参数可以通过Spark datasource API的option来配置。
tableIndentifier 需要执行INSERT命令的Hudi表的名称。 select query 查询语句。 注意事项 写入模式：Hudi对于设置了主键的表支持三种写入模式，用户可以设置参数hoodie.sql.insert.mode来指定Insert模式，默认为upsert。 hoodie.sql.insert
使用DLI分析电商BI报表 应用场景 某电商商城在保持高速发展的同时，沉淀了数亿的忠实用户，积累了海量的真实数据。如何利用BI工具从历史数据中找出商机，是大数据应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。 本案例以某商城真实的用户、商品、评论数据
在“用户权限信息”列表中找到需要设置权限的用户： 如果用户为子用户且不是表的所有者，可进行“权限设置”。 若用户为管理员用户或表的所有者，只能查看“权限信息”。 在“项目权限信息”列表中找到需要设置权限的项目，进行“权限设置”。 在子用户或项目的“操作”栏中单击“权限设置”，可弹出表“权限设置”对话框。
配置Flink作业权限 Flink作业权限操作场景 针对不同用户，可以通过权限设置分配不同的作业，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户和作业的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
