检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询资源详情 功能介绍 查询资源详情,一个资源包含jar、zip、properties等文件,已经创建的资源在DLI Spark、MRS Spark等作业节点中使用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{p
复制名称和重命名作业 您可以通过复制名称功能复制当前作业名称,通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 复制名称 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
标。 免运维 需要自行开发完善运维功能,自行保证系统可用性,尤其是告警及通知功能,否则只能人工值守。 使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7*24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
createUserApiParam:= "dev" nameApiParam:= "name" request.Body = &model.ApiParam{ EndTime: &endTimeApiParam, StartTime: &startTimeApiParam,
复制作业 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工
SDK为例,因此需要已安装Eclipse 3.6.0或以上版本,如果未安装,请至Eclipse官方网站下载。 约束与限制 APP认证方式的API调用前必须先完成通过应用授权APP认证方式API或申请API授权操作。 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公
javascript-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\javascript-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\javascript-sdk.zip
脚本创建完成后,单击“保存”,脚本412_test创建完成。 在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 右键单击作业,创建一个pipeline模式的批处理作业,进入作业开发界面。
Hive数据湖中的出租车出行数据进行数据模型设计。 数据库demo_sdi_db中已具备出租车出行原始数据表sdi_taxi_trip_data。 原始数据表sdi_taxi_trip_data的数据字段介绍如下: 数据说明如下: 表1 出租车行程数据 序号 字段名称 字段描述 1 VendorID
导出连接(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 导出zip压缩包格式的连接文件,包括所有连接的定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v
选择执行导出操作的DLI队列。当脚本为DLI SQL时,配置该参数。 压缩格式 否 选择压缩格式。当脚本为DLI SQL时,配置该参数。 none bzip2 deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。
Studio服务后不会再产生通知,您也可以直接删除SMN服务已产生的主题和订阅。 EIP EIP计费说明 EIP服务支持按需和包周期计费,本例中使用按需计费,完成后删除EIP即可。如果使用包周期计费,您需要参考云服务退订退订包年包月套餐,并删除EIP。 DEW DEW计费说明 KMS密钥管理按密钥实例进行按
DataArts Studio对接数据源,即为通过管理中心创建数据源的数据连接。DataArts Studio管理中心数据连接与数据集成数据连接相互独立,使用场景各有不同。 管理中心的数据连接用于对接数据湖底座,DataArts Studio基于数据湖底座,提供一站式数据开发、治理和服务等能力。
Studio服务后不会再产生通知,您也可以直接删除SMN服务已产生的主题和订阅。 EIP EIP计费说明 EIP服务支持按需和包周期计费,本例中使用按需计费,完成后删除EIP即可。如果使用包周期计费,您需要参考云服务退订退订包年包月套餐,并删除EIP。 DEW DEW计费说明 KMS密钥管理按密钥实例进行按
查看作业依赖关系图 您可以通过查看作业依赖关系视图,直观查看该作业关联的上下游作业。 前提条件 已经在开发Pipeline作业的作业调度配置中设置了依赖作业,否则视图中仅能展示当前作业节点,无法展示具备依赖关系的上下游作业节点。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts
据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Python、Go、JavaScript、PHP、C++、C、Android、Java等,详见SDK参考手册。 父主题: 数据服务
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
Parquet:DLI支持读取不压缩、snappy压缩、gzip压缩的parquet数据。 CSV:DLI支持读取不压缩、gzip压缩的csv数据。 ORC:DLI支持读取不压缩、snappy压缩的orc数据。 JSON:DLI支持读取不压缩、gzip压缩的json数据。 Carbon:DLI支持读取不压缩的carbon数据。
实时处理作业可以配置节点级别的调度任务,即每一个节点可以独立调度,具体请参见配置节点调度任务(实时作业)。 模式 Pipeline:即传统的流水线式作业,作业通过画布编辑,可以拖入一个或多个节点组成作业,各节点依次被流水线式地执行。 说明: 在企业模式下,实时处理作业类型不支持Pipeline模式,仅支持单任务模式。