检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI经典型跨源连接下线(EOL)公告 公告说明 华为云计划于2024年06月30 00:00(北京时间)将DLI经典型跨源连接的相关功能下线(EOL)。 影响 DLI经典型跨源连接的相关功能下线(EOL)后,不再提供该功能任何技术服务与支持。 如果您正在使用DLI经典型跨源连接
审计与日志 DLI对接云审计服务 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表
的方式通知到华为账号的创建者。 欠费后影响 当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,按需资源不会立即停止服务,资源进入宽限期。您需支付按需资源在宽限期内产生的费用,相关费用可在“管理控制台 > 费用中心 > 总览”的“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。
具体操作请参考SDK V3版本开发指南。 DLI SDK(服务自研):是DLI服务自行开发的SDK,本手册介绍DLI 自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包(SDK)获取。 Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK
name} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 auth_info_name 是 String 即将删除的认证信息名。 响应参数 表2 响应参数 参数 参数类型
将显示该数据库对应的权限信息。 在数据库权限管理页面右上角单击“授权”。 在“授权”弹出框中,选择“用户授权”或“项目授权”,填写需要授权的用户名或选择需要授权的项目,选择相应的权限。 单击“确定”,完成授权。 父主题: Spark作业运维类
name} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 跨源id。 name 是 String 路由名称。 请求参数 无
name} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 auth_info_name 是 String 即将删除的认证信息名。 响应参数 表2 响应参数 参数 参数类型
ame}/jobs/{job_id} 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 待取消作业所在的队列名称。 job_id 是 作业ID。 请求消息 无请求参数。 响应消息
Postgres数据库版本不能低于11。 已创建DWS实例。 具体创建DWS集群的操作可以参考创建DWS集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建RDS Postgres数据库:创建RDS Postgres的数据库和表。
特性 说明 Native性能加速 Spark查询语句性能提升。 元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能,提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务(OBS)在处理小文件写入时的性能,提高数据传输效率。 动态Executor
e_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 template_id 是 String 模板ID。 请求参数 表2 请求参数 参数 是否必选 参数类型 说明
通常情况下,建议您针对不同的业务创建项目: 开发项目:在此项目下,大多是工程师开发调试时使用,作业随机性大,数据量小。针对这种情况,建议您使用按CU时计费模式,能够帮您有效控制成本,将资源消耗控制在一定范围内。如果您有短时的专属资源需求,也可以在购买按需队列时勾选专属资源模式,享受资源专属。 生产项目:在此项
e_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 template_id 是 String 模板ID。 请求参数 无 响应参数 表2 响应参数 参数 参数类型 说明
id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 Long 作业ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选
outes 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 跨源id。 请求参数 表2 请求参数 名称 是否必选 参数类型 说明
name} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 跨源id。 name 是 String 路由名称。 请求参数 无
资产识别与管理 DLI 可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签,各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成,为同一种应用拥有的资源实例设置
非分区表 单表数据总条数 = select count(1) from tablename(入湖时需提供); 单条数据大小 = 平均 1KB(华为建议通过select * from tablename limit 100,得出100条数据的大小,再除以100得到单条平均大小) 单表数据量大小(G)
der/authentication 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数 是否必选 参数类型 说明 job_id 是 String 作业ID,用于标识上传作业。