检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
icsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置的参数不同,下表参数为表/文件迁移时的全量参数,实际参数以界面显示为准。 表1 Elasticsearch/云搜索服务(CSS)作为目的端时的作业参数 参数名 说明 取值样例 索引
运行完成后,单击画布上方的保存按钮,保存作业的配置信息。 保存后,在右侧的版本里面,会自动生成一个保存版本,支持版本回滚。保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 下载或转储脚本执行结果 脚本运行成功后,支持下载和转储SQ
String 开发环境版本,只读,ID字符串。 prod_version String 生产环境版本,只读,ID字符串。 dev_version_name String 开发环境版本名称,只读。 prod_version_name String 生产环境版本名称,只读。 env_type
为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。 MRS Spark作业的运行程序参数,请参见《MapReduce用户指南》中的运行Spark作业。 输入数据路径
只有运行在弹性资源池上的作业支持设置作业优先级。 弹性资源池上的SQL作业支持作业优先级。 Spark 2.4.5及以上版本的作业支持设置作业优先级。 Flink 1.12及以上版本的作业支持设置作业优先级。 父主题: 基线运维
com/archives/c-j/,建议5.1.48版本。 PostgreSQL驱动:获取地址https://mvnrepository.com/artifact/org.postgresql/postgresql,建议42.3.4版本。 SQL Server驱动:获取地址https://learn
开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 (可选)管理作业 父主题: 数据开发
SparkPi”。 Spark程序资源包:3中创建的资源。 作业编排完成后,单击,测试运行作业。 图4 作业日志(仅参考) 如果日志运行正常,保存作业并提交版本。 父主题: 使用教程
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 否 String 消息体的类型(格式),有Body体的
Studio管理中心数据连接。 说明: 数据连接配置中必须勾选数据集成选项。 数据连接中使用的Agent代理实际为CDM集群,所用集群建议升级至较新版本(24.4.0B030版本以上),以满足功能特性需求,详情请联系客服或技术支持人员。 参考创建DataArts Studio数据连接。 网络准备 数据库部署在本地IDC
被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200 OK 接口调用成功。 201 Created 创建类的请求完全成功。 202 Accepted 已经接受请求,但未处理完成。
数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据,默认为true。跳过读取bi
String 开发环境版本,只读,ID字符串。 prod_version String 生产环境版本,只读,ID字符串。 dev_version_name String 开发环境版本名称,只读。 prod_version_name String 生产环境版本名称,只读。 env_type
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的
id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 DLI DLI计费说明 DLI服务未购买专属队列时,涉及存储收费和扫描量计费。扫描量收费是在使用默认default队列提交作业时计费的,后续不使用队列不收费;存储收费需要您在DLI服务数据管理中删除相关数据。 SMN
表名宏,例如“${tableName}”,则生成的文件名为源表名“sqltabname.csv”。 版本宏,例如“${version}”,则生成的文件名为集群版本号“2.9.2.200.csv”。 字符串和宏(时间宏/表名宏/版本宏)任意组合,例如“cdm#${timestamp()}_${version
以避免上述两种场景下作业执行失败。 在作业进行周期调度时,该作业的默认用户被删除后,如果使用其他用户对该作业进行版本提交并执行调度,那该作业的执行用户就默认为提交版本的用户。 调度身份的分类 调度身份分为委托和IAM账户两大类。 委托:由于云各服务之间存在业务交互关系,一些云服务
主题管理接口 主题层级接口 目录管理 原子指标接口 衍生指标接口 复合指标接口 维度接口 限定接口 维度表接口 事实表接口 汇总表接口 业务指标接口 版本信息接口 关系建模接口 导入导出接口 自定义项接口 标签接口 质量规则接口
String 开发环境版本,只读,ID字符串。 prod_version String 生产环境版本,只读,ID字符串。 dev_version_name String 开发环境版本名称,只读。 prod_version_name String 生产环境版本名称,只读。 env_type
全量导出包含API的EXCEL压缩文件 功能介绍 全量导出包含API的EXCEL压缩文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/export/zip 表1 路径参数 参数 是否必选 参数类型 描述 project_id