检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启后,支持配置20个手机号码或邮箱,作业(目前仅支持表/文件迁移的作业)失败时、EIP异常时会发送短信或邮件通知用。 phone_num 否 String 接收消息通知的手机号码。 email 否 String 接收消息通知的邮箱。
如果需要调试已绑定的API,单击“测试”,进入调试页面。 如果需要对已绑定的API延长授权时间,单击“续约”。
DataArts Studio实例赠送的CDM集群,由于规格限制,仅用于测试、试用等非正式业务场景。用于业务场景的CDM集群可以通过“批量数据迁移增量包”进行购买,且不建议同时作为数据连接Agent代理和运行数据迁移作业使用。
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。
其中数据开发作业的每天调度次数,是以节点(包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不会计入。
图1 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 审核API申请 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
保存并提交作业版本,单击“测试运行”,执行数据开发作业。 数据开发作业执行成功后,单击右上角的“前往监控”,进入“作业监控”页面,查看生成的任务或实例是否符合需求,如图6所示。 图6 查看运行结果
使用不匹配的连接版本,测试连接有可能正常,也可能会出现查询库表为空,或者作业失败等不正常场景。 属性配置 hive.storeFormat=textfile 适用组件勾选数据集成后,呈现此参数。
图13 运行工程测试代码 在“Console”页签,查看运行结果。 图14 调用成功后的返回信息 父主题: 使用APP认证调用API
publish_status" : "PUBLISHED", "create_user" : "admin", "description" : "测试" } 响应示例 状态码: 200 Success。
POST https://{endpoint}/v2/{project_id}/design/compound-metrics { "id" : 0, "name_ch" : "测试复合指标", "name_en" : "test_compound_index",
数据集成基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构。 图1 数据集成 数据集成提供全向导式任务管理界面,帮助用户在几分钟内完成数据迁移任务的创建,轻松应对复杂迁移场景。
(可选)管理脚本 复制脚本 复制名称与重命名脚本 移动脚本/脚本目录 导出导入脚本 查看脚本引用 删除脚本 解锁脚本 转移脚本责任人 批量解锁 父主题: 脚本开发
{ "value" : { "id" : "1300537267533774848", "name_en" : "test_compound_index", "name_ch" : "测试复合指标", "description" : "",
如果选择“内置”,用户可以根据实际需要选择系统内置的敏感数据识别定义模板,例如:时间、手机号、车牌号。 分类名称 分类类型选择“内置”,分类名称自动关联分类模板生成。 分类类型选择“自定义”,用户可以自行填写分类名称。 说明: 定义数据分类规则,名称必须唯一。
注意事项 当迁移动作影响到客户的HDFS集群时,需要手动停止作业。 如果作业出现大批量的失败: 先检查DES盒子是否被写满。如果写满,需要清除最近写入的目录,保证后面写入的数据都是完整的。 再检查网络是否连通。 检查客户的HDFS集群。
DataArts Studio+X 跨工作空间的DataArts Studio数据搬迁 实例内的工作空间包含了完整的功能,工作空间的划分通常按照分子公司(集团、子公司、部门等)、业务领域(采购、生产、销售等)或者实施环境(开发、测试、生产等),没有特定的划分要求。
(可选)管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发