检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
when matched and flag = true then delete when not matched then insert *; 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
用户需要同时拥有队列的停止作业权限以及作业的停止作业权限。 删除作业 如果作业在可删除状态,则用户拥有作业的删除权限即可。 如果作业在不可删除状态,用户删除作业时,系统会先停止作业,停止作业权限说明可以参考•停止作业,并且用户还需要拥有作业的删除权限。 创建作业 子用户默认不能创建作业。 创建作业时,用户
发调试再上线),建议您使用包年/包月计费模式,可以更优惠。同时,按需计费的队列,在空闲1小时后(队列空闲是指该队列上没有正在运行的作业),系统会自动释放计算资源,再次使用时,需要重新分配计算资源,可能会耗费5~10min时间。使用包年/包月计费模式则可避免这种情况,节省等待时间。
li-demo。OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。 单击Best_Practice_01.zip获取
查看弹性资源池的基本信息 资源池创建完成后您可以通过管理控制台查看和管理您的弹性资源池。 本节操作介绍在管理控制台如何查看弹性资源池基本信息,包括弹性资源池的VPC网段、IPv6网段、创建时间等信息。 查看弹性资源池的基本信息 登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。
Kafka实例时,不能开启Kafka SASL_SSL。 CSS 创建CSS集群 MRS 创建MRS集群 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。 系统default队列不支持创建跨源连接。 步骤1:获取外部数据源的内网IP、端口和安全组 表2 各数据源信息获取 数据源 参数获取 DMS Kafka
S中。 insert into test_parquet_hw select * from test_csv_hw 检查结果,如图5所示,系统自动创建了一个文件用于保存结果。 图5 保存Parquet数据
类型的作业分别置于独立的弹性资源池中。 优势在于:Flink实时流任务具有常驻运行的特质,确保其稳定运行而不会强制缩容,进而避免任务中断和系统不稳定。 而SQL批处理类型的作业在独立的资源池中能够更加灵活地进行扩缩容,显著提升扩缩容的成功率和操作效率。 在全天的任意一个时间段内,
审计与日志 DLI对接云审计服务 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表
当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态,资源将陆续进入宽限期和保留期。 图2 按需计费的DLI资源生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响
matched and h0.flag = true then delete when not matched then insert *; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Delta DML语法说明
当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”,该参数表示可将错误数据保存到对应的OBS路径中。 obs://DLI/ 单击“确定”,系统开始导入数据。 有两种方式可查看导入的数据。 目前预览只显示导入的前十条数据。 在“数据管理”>“库表管理”页面,单击数据库名,在表管理界
每一个弹性资源池关联唯一的Notebook实例。 Notebook作业运行过程中产生的临时数据将会存储在DLI作业桶中,且必须使用并行文件系统。 请在ModelArts管理控制台管理Notebook实例。请参考管理Notebook实例。 Notebook实例用于代码编辑和开发,关联队列用于执行作业。
timezone) TIMESTAMP 将UTC的时间戳转化为timezone所对应的时间戳。 getdate getdate() STRING 获取当前系统时间。 hour hour(string date) INT 返回指定时间的小时,范围为0到23。 isdate isdate(string
数。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当所选择队列的剩余容量不能满足作业需求时,系统会自动扩容,将按照增加的容量计费。当队列空闲时,系统也会自动缩容。 Flink版本 具体参数说明如下: 1.10:具体SQL语法参考Flink OpenSource
增强型跨源连接概述 为什么要创建增强型跨源连接? DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案:
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建一个data_location为OBS表,数据格式为CSV。 { "table_name":
图2 进入DataArts Studio实例控制台 单击“空间管理”,进入数据开发页面。 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“default”,并赋予该用户为管理员角色。您可以使用默认的工作空间,也可以参考本章节的内容创建一个新的工作空间。
予的策略中必须包含允许"dli:queue:create_queue"的授权项,该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下:
“单TM所占CU数”:每个TaskManager占用的资源数量。 “单TM Slot”:每个TaskManager包含的Slot数量。 不勾选该参数,,系统自动按照默认值为您配置。 “单TM所占CU数”:默认值为1。 “单TM Slot”:默认值为“(并行数 * 单TM所占CU数 )/(CU数量