检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建目标表 查询源表数据，发现导致问题产生的记录ctr值为1675，整数位（4位）超出所定义的decimal精度（9 – 6 = 3位），导致double转decimal时overflow产生null值，而对应dws表字段为非空导致插入失败。 处理步骤 修改目的表所定义的decimal精度即可解决。
ECT）的输入，如“CREATE TABLE tb_avro STORED AS AVRO AS SELECT 1”则会报schema解析异常。 此问题的原因是如果不指定列名，则会把SELECT后的内容同时作为列名和插入值，而AVRO格式的表不支持列名为数字，所以会报解析schema异常错误。
ResponseCode: 403, ResponseStatus: Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
务，让DLI服务以您的身份使用其他云服务，代替您进行一些资源运维工作。 例如：在DLI新建Flink作业所需的AKSK存储在数据加密服务DEW中，如需允许DLI在执行作业时访问DEW数据，需要提供IAM委托将DEW数据操作权限委托给DLI，允许DLI服务以您的身份访问DEW服务。
使用DEW管理数据源访问凭证 使用DLI提交作业读写外部数据源数据时，需要妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、
CREATE TABLE 命令功能 CREATE TABLE命令通过指定带有表属性的字段列表来创建Hudi Table。在使用由DLI提供的元数据服务时仅可创建外表，即需要通过LOCATION指定表路径。 命令格式 CREATE TABLE [ IF NOT EXISTS] [database_name
用户可以根据业务负载进行弹性扩缩容，能够基于作业的负载动态调整作业使用资源大小。 支持基于作业优先级动态调整作业的使用资源。 仅支持YARN集群。 上下游数据连接 除了开源connector之外，还提供开箱即用的connector，包括数据库（RDS、GaussDB）、消息队列（DMS）、数据仓库（DWS）、对象存储（OBS）
），结算完毕后进入新的计费周期。 计费的起点以DLI表的创建时间点为准，终点以DLI表删除时间为准。 资源从创建到启动需要一定时长，按需计费的数据存储的起点是DLI表创建成功的时间点，而非创建的时间。您可以在“数据管理 > 库表管理”查看DLI表的创建成功的时间。 计费示例 价格
怎样监控DLI队列上的作业异常？ DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”，进入队列管理页面。 在队列管理页面，单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题： DLI弹性资源池和队列类
C组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。 本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作，DLI已经预先生成了100M的TPC-H-2.18的标准数据集，已将数据集上传到了OBS的tpch文
选择“作业管理 > Spark作业”，在作业列表中选择待操作的Spark Jar作业。 单击操作列的“编辑”，进入作业编辑页面。 在参数配置区域，选择新的Spark版本。 使用Spark3.3以上版本的引擎执行作业时，需要Spark参数中配置自定义的委托名称，否则可能会影响作业运行。了解自定义DLI委托
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略，用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景：数据清理委托，表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
设置写入方式 Hudi通过hoodie.datasource.write.operation参数设置写入模式。 insert： 该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。 bulk
table_name 表名称。 注意事项 所要删除的表必须是当前数据库下存在的，否则会出错，可以通过添加IF EXISTS来避免出错。 示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。 在当前所在数据库下删除名为test的表。 1 DROP TABLE IF EXISTS
问题描述：临时表主要用于存储临时中间结果，当事务结束或者会话结束的时候，临时表的数据可以自动删除。例如MySQL中可以通过：“create temporary table ...” 语法来创建临时表，通过该表存储临时数据，结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能？ 解决措施：
单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。
无法查看作业日志。可以通过配置生命周期规则实现定时删除OBS桶中的对象或者定时转换对象的存储类别。桶名称为系统默认。 如果不需要创建DLI临时数据桶，并且希望不再收到该提示，可以勾选“下次不再提示”并单击“取消”。 前提条件 请先将所要依赖的程序包通过“数据管理>程序包管理”页面
的规格额度，超过扫描数据量套餐包额度的按照按需计费。扫描数据量套餐的额度每个月会重置。 更多套餐包计费信息请参考套餐包计费。 本文将介绍按需计费的DLI数据扫描量计费的计费规则。 适用场景 DLI服务预置了名为default的队列供用户体验。用户在不确定所需队列容量或没有可创建队
数据库ID：添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID：在DLI管理控制台的“Flink作业”列表页面单击Flink作业名称，在Flink作业的详情页面即可获取Flink作业ID。 表2 Query参数 参数 是否必选 参数类型
SQL作业相关API&SDK的对应关系表 Class Method Java Method Python Method API Database 创建数据库 createDatabase create_database POST /v1.0/{project_id}/databases 删除数据库 deleteDatabase
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
