检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hadoop.fs.obs.OBSIOException错误 问题现象 在DataArts Studio上运行DLI SQL脚本，执行结果的运行日志显示语句执行失败，错误信息为： DLI.0999: RuntimeException: org.apache.hadoop.fs.obs
具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 在输入框中输入标签键名称。 说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格，不能以_sys_开头。 标签值 您可以选择： 在输入框的下拉列表中选择预定义标签值。
DLI提供了一个通用接口，可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 获取到的委托的临时认证封装到com.huaweicloud.sdk.core
DROP TABLE 命令功能 DROP TABLE的功能是用来删除已存在的Table。 命令格式 DROP TABLE [IF EXISTS] [db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database
上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。 6 验证和使用DLI的UDF函数 DLI控制台 在DLI作业中使用创建的UDF函数。 操作步骤 新建Ma
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
（不使用Catalog的场景）： 这里的sink表通过创建临时表指向Hudi表路径来写入数据，同时在表参数中配置hive_sync相关参数，实时同步元数据至由DLI提供的元数据服务。（具体参数详见Flink参数一节） 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。
弹性资源池模式：计算资源的池化管理模式，提供计算资源的动态扩缩容能力，同一弹性资源池中的队列共享计算资源。通过合理设置队列的计算资源分配策略，可以提高计算资源利用率，应对业务高峰期的资源需求。 适用场景：适合业务量有明显波动的场合，如周期性的数据批处理任务或实时数据处理需求。 支持的队列类型：
调度Clustering：使用可插拔的Clustering策略创建Clustering计划。 识别符合Clustering条件的文件：根据所选的Clustering策略，调度逻辑将识别符合Clustering条件的文件。 根据特定条件对符合Clustering条件的文件进行分组。每个组的数据大小应为t
错误码 调用API出错后，将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。 当调用出错时，HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系企业技术人员，并提供错误码，以便我们尽快帮您解决问题。
参考图10可以看到数据倾斜时，单个任务的shuffle数据远大于其他Task的数据，导致该任务耗时时间变长。 图10 数据倾斜示例图 数据倾斜原因和解决： Shuffle的数据倾斜基本是由于join中的key值数量不均衡导致。 对join连接条件进行group by 和count，统计每个连接条件的key值的数量。示例如下：
终止作业：终止提交到此队列的作业。 赋权：当前用户可将队列的权限赋予其他用户。 回收：当前用户可回收其他用户具备的该队列的权限，但不能回收该队列所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该队列的权限。 重启队列权限：重启此队列的权限。 规格变更：修改队列规格的权限。 为已有权限的用户赋予权限或回收权限。
KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个（些）列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。 主键可以和列的定义一起声明，也可以独立声明为表的限制属性，不管是哪种方式，主键都不可以重复定义，否则
COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上，需要先执行如下语句才能修改成功： ALTER TABLE table_name SET TBLPROPERTIES ('delta.columnMapping.mode' = 'name')； 如果您的表不在所需的协议版本上，需要先执行如下语句才能修改成功：
图1描述了按需计费的DLI资源各个阶段的状态。购买后，在计费周期内资源正常运行，此阶段为有效期；当您的账号因按需资源自动扣费导致欠费后，账号将变成欠费状态，资源将陆续进入宽限期和保留期。 图1 按需计费的DLI资源生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账
1996; 96 M 月份 July; Jul; 07 w 年中的周数 27(该年的第27周) W 月中的周数 2(该月的第2周) D 年中的天数 189(该年的第189天) d 月中的天数 10(该月的第10天) u 星期中的天数 1 = 星期一, ..., 7 = 星期日 a am/pm
DLI常用跨源分析开发方式 跨源分析 当DLI有访问外部数据源的业务需求时，首先需要通过建立增强型跨源连接，打通DLI与数据源之间的网络，再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SM
表就地转换为 Delta 表。 此命令会列出目录中的所有文件，创建 Delta Lake 事务日志来跟踪这些文件，并通过读取所有 Parquet 文件的页脚来自动推断数据架构。 转换过程会收集统计信息，以提升转换后的 Delta 表的查询性能。 如果提供表名，则元存储也将更新，以反映该表现在是
KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个（些）列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。 主键可以和列的定义一起声明，也可以独立声明为表的限制属性，不管是哪种方式，主键都不可以重复定义，否则
单击左侧导航栏的图标，选择“大数据 > 数据湖探索 DLI”。 在队列或弹性资源池的列表页，选中待续费的包年/包月资源。 单击“操作”列下的“更多 > 续费”。 选择续费时长，判断是否勾选“统一到期日”，将到期时间统一到各个月的某一天（详细介绍请参见统一包年/包月资源的到期日）。确认配置费用后单击“去支付”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
