检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Jar写入数据到OBS开发指南。 配置文件使用方法 方案一：直接在main函数里面加载文件内容到内存，然后广播到各个taskmanager，这种方式适合那种需要提前加载的少量变量。 方案二：在open里面初始化算子的时候加载文件，可以使用相对路径/绝对路径的方式 以kafka sink为
户，您可以跳过本章节，不影响您使用DLI服务的其它功能。 本章节介绍创建IAM用户并授权使用DLI的方法，操作流程如图1所示。 前提条件 给用户组授权之前，请您先了解用户组可以添加的DLI权限，并结合实际需求进行选择。DLI支持的系统权限，请参见：DLI系统权限。 示例流程 图1
怎样获取DLI作业样例（Demo） 为了方便用户更好地使用DLI，DLI服务提供了供作业开发的Demo样例，您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下： dli-flink-demo：开发Flink作业时的样例代码参考。例如，样例代码实现读取Kafka源表数据写
创建并使用跨源链接 场景描述 本章节指导用户通过API创建增强型跨源连接。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口，具体请参考《虚拟私有云
jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的路径作为参数传给Executor去执行。
怎样查看DLI队列负载？ 场景概述 如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。
DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？ 问题现象 DLI分区内表导入了CSV文件数据，导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段，导致查询不到表数据。 问题根因 DLI分区内表在导入数据时，如果文件数据没有包含
基准测试的度量单位是每小时执行的查询数( QphH@size)，其中“H”表示每小时系统执行复杂查询的平均次数，“size”表示数据库规模的大小，能够反映出系统在处理查询时的能力。TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数。总而言之，TPC组织颁布的TPC-H
手动停止了Flink作业，再次启动时怎样从指定Checkpoint恢复？ 问题现象 在创建Flink作业时开启了Checkpoint，指定了Checkpoint保存的OBS桶。手工停止Flink作业后，再次启动该Flink作业怎样从指定Checkpoint恢复。 解决方案 由于Flink
Flink作业怎样设置“异常自动重启”？ 场景概述 DLI Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。
创建并使用LakeFormation元数据 DLI对接LakeFormation LakeFormation资源权限支持列表与策略项 父主题： 创建数据库和表
包年包月弹性资源池设置了定时扩缩容时，怎样计费？ 假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池（CU范围：64CUs），购买时长为一个月，在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上（假设每天累计12个小时实际CUs为128CUs
为这些字段生成值。例如，如果表中有一个名为id的自增主键字段，您可以在插入数据时不包含这个字段，数据库会自动为新插入的行分配一个唯一的id值。 使用NULL值：如果您需要在插入数据时明确指定某些字段由数据库自动填充，可以在这些字段的位置填写NULL。这样，数据库会识别到这些字段应该由系统自动生成值，而不是由用户指定。
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时，OBS路径须指定到数据库下的具体表层路径。路径格式为：obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
创建并管理SQL作业模板 创建SQL作业模板 使用SQL作业模板开发并提交SQL作业 DLI预置的SQL模板中TPC-H样例数据说明 父主题： 使用DLI提交SQL作业
创建OBS外表，由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办？ 问题现象 创建OBS外表，因为指定的OBS文件内容中某字段包含回车换行符导致表字段数据错误。 例如，当前创建的OBS外表语句为： CREATE TABLE test06 (name string, id
Hudi表使用约束 Hudi表类型 Copy On Write 写时复制表也简称COW表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再
SQL编辑器 提供执行SQL语句操作的界面指导，包含SQL编辑器界面基本功能介绍、快捷键以及使用技巧等说明。 Spark SQL作业管理 提供SQL作业管理界面功能介绍。 Spark SQL模板管理 DLI支持定制模板或将正在使用的SQL语句保存为模板，便捷快速的执行SQL操作。 开发指导
时延 指事件从源端算子到达本算子的过程中消耗的时间，单位为毫秒（ms）。 发送的记录数 算子发送数据的记录。 发送的字节数 算子发送的字节数。 接受的字节数 算子接收的字节数。 接受的记录数 算子收到数据的记录。 开始时间 算子运行开始时间。 结束时间 算子运行结束时间。 查看Flink作业执行计划
创建SQL作业模板 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 SQL模板包括样例模板和自定义模板。当前系统默认的样例模板包括22条标准的TPC-H查询语句，可以满足用户大部分的TPC-H需求场
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
