检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ython脚本的调度频率合理配置MaxSessions的值。 当前用户已锁定该脚本,否则需要通过“抢锁”锁定脚本后才能继续开发脚本。新建或导入脚本后默认被当前用户锁定,详情参见编辑锁定功能。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
下载中心 数据开发模块对于SQL脚本执行的结果支持直接下载和转储。SQL执行结果进行下载和转储后,可以通过下载中心查看下载和转储的结果。 约束与限制 仅SQL脚本和单任务SQL作业运行完成并且返回结果后,执行下载和转储,在下载中心生成记录,可以查看下载和转储的结果。 下载中心 下
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 DLI DLI计费说明 DLI服务未购买专属队列时,涉及存储收费和扫描量计费。扫描量收费是在使用默认default队列提交作业时计费的,后续不使用队列不收费;存储收费需要您在DLI服务数据管理中删除相关数据。 SMN SMN计费说明
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
nt时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在调度Shell、Python脚本时,Agent会访问ECS主机,如果Shell、Python脚本的调度频
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
end_timestamp 否 Long 结束时间戳。 limit 否 Long 分页条数,取值范围[0,100]。 offset 否 Long 分页偏移量,最小值0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts
如果您需要对调用结果进行自定义调整,则还可以配置如下Query参数: (可选)分页配置:默认情况下,对于配置方式和默认分页的脚本/MyBatis方式API,系统将默认赋值返回量。如果需要获取特定分页数据,您可以修改如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。 图7 分页参数设置
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ython脚本的调度频率合理配置MaxSessions的值。 当前用户已锁定该脚本,否则需要通过“抢锁”锁定脚本后才能继续开发脚本。新建或导入脚本后默认被当前用户锁定,详情参见编辑锁定功能。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
否 String 创建者。 limit 否 Integer 分页时每页的条数,最大值为100。 offset 否 Integer 分页偏移量。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts Studi
服务 > Ranger > 配置 > 基础配置”,非安全模式MRS集群查看“ranger.service.http.port”参数对应的端口,安全模式MRS集群查看“ranger.service.https.port”参数对应的端口。 KMS密钥 是 通过KMS加解密数据源认证信息
Explorer接口和REST API SDK包支持如下组件: 数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成组件的API Explorer接口和SDK代码仓注册在“云数据迁移CDM”服务下。如需使用数据集成组件的API
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作,才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示,具体操作请参考后续章节。
响应Body参数 参数 参数类型 描述 publish_num Integer 已发布API量。 developing_num Integer 开发中API量。 apply_num Integer 申请量。 call_num Integer 调用总量。 success_num Integer
开发一个DLI Spark作业 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时,大部分时间会使用SQL对数据进行分析处理,有时候处理的逻辑特别复杂,无法通过SQL处理,那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何
String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 cluster_name 否 String 集群名称。 database_name 否 String 数据库名称。 schema_name 否 String schema名称。 table_name 否 String 表名称。
nt时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 使用委托 否 “数据集成”参数开启,“数据目录”参数关闭时,呈现此参数。 如果I
5274d|payload}”,结果集名称按照实际取值,此处以销售记录Sales records为例进行配置。 格式转换选择返回格式为EXCEL。 图4 配置输出处理算子 保存API工作量,然后调试并发布到集群。则后续调用者就可以通过调用API工作流中的入口API,实现普通API取数结果保存在EXCEL文件中。