检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 MRS为非全托管服务,DataArts
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 MRS为非全托管服务,DataArts
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 MRS为非全托管服务,DataArts
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK 400 Bad Request 父主题: 权限管理接口
Spark作业名称 是 MRS作业名称,只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明: 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。 运行模式 是 配置Spark作业的运行模式。
Studio控制台以增量包的形式购买,本章节以此为例进行说明。 按需计费方式购买数据集成集群 购买“按需计费”增量包,系统会按照您所选规格自动创建一个数据集成CDM集群。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,参见表1进行配置。
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 MRS为非全托管服务,DataArts
待授权用户的原有权限。详见数据权限管控说明。 空间权限集删除后将被转移至回收站中,您可以在30天内进行还原,在回收站中超过30天的数据将被自动删除。详见管理回收站章节。 默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)
最大时间间隔/poll 可选参数,向Kafka请求数据的最大时间间隔。 100 通知Topic 发送通知数据到通知Topic中。在CDC场景中,通知的内容是记录生成文件列表的文件名。 notice 父主题: 配置CDM作业源端参数
调用创建集群API创建集群,假设集群详情如下: 集群名称为“cdm-ab82”。 集群规格为“cdm.medium”。 VPC、子网、安全组与DWS一致,且自动绑定弹性IP。 如果返回状态码为200,则说明创建命令执行成功。 curl -X POST -H 'Content-Type:applic
后的作业同步到生产环境。 管理员导入作业时,选择导入提交态,会生成对应的待发布项。 管理员导入作业时,选择导入生产态,则不会生成待发布项。 开发者创建单任务的实时作业后,提交版本时,只生成当前作业的待发布项,不会生成子作业的待发布项。 前提条件 已提交版本,详情请参见提交版本。 操作步骤
作业名称 是 MRS作业名称,只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明: 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。 脚本类型 是 离线脚本 在线脚本
Users/Groups/Roles -> Users”下找到新建的用户名。 如果Ranger上未找到新建的用户,则需要等待约5分钟,直到Ranger组件自动触发并完成同步MRS集群角色。 图7 查找用户名 单击名称进入详情页,修改用户的角色为Admin,单击Save保存。 图8 修改用户角色 父主题:
该接口用以获取脚本实例的执行状态和结果。 300 30 删除脚本 此接口用以删除指定脚本。 300 30 执行脚本 该接口用以执行指定脚本,脚本每执行一次,生成一个脚本实例。 300 30 停止脚本实例的执行 停止脚本实例的执行。 300 30 资源管理 表4 资源管理 API 说明 API流量限制(次/s)
作业开发”。 右键单击作业所在的目录,单击“查看目录下作业依赖关系图”进入该目录下作业依赖图查看界面。 图4 在目录树上查看作业依赖关系图 系统自动展示该目录下作业的所有依赖关系,您可以查看作业之间的相互依赖关系。系统支持通过作业名称进行查找并高亮显示。 在依赖关系图中单击某节点,其上
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Success,返回data数据是目标物理WorkspaceVO信息,最终的转换结果需要从获取批量操作结果的接口中获取。
采集任务,数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据,并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。 父主题: DataArts Studio配置数据搬迁实践
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Success 400 BadRequest 401 Unauthorized 403
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Success 400 BadRequest 401 Unauthorized 403