检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步IAM用户。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS
户对1700部电影的100,000个评分数据。获取链接中的zip数据包并解压,其中的“u.item”和“u.data”文件分别为电影信息和评分信息。 为方便演示,本示例提供了用于模拟原始数据的部分数据。为了方便将源数据集成到云上,我们需要先将样例数据存储为CSV文件,将CSV文件上传至OBS服务中。
code String 返回编码。 errCode String 错误码。 message String 报错信息。 externalMessage String 附加信息。 状态码: 500 表14 响应Body参数 参数 参数类型 描述 message String 错误描述。
同步状态,UNKNOWN,NOT_SYNC,SYNCING,SYNC_SUCCESS,SYNC_FAIL sync_msg String 同步信息。 url String url路径名称。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String
抽取并发数:可设置同时执行的抽取任务数。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。 作业运行完是否删除:可选择是否自动删除作业。 JSON样例 "driver-config-values":
同步状态,UNKNOWN,NOT_SYNC,SYNCING,SYNC_SUCCESS,SYNC_FAIL sync_msg String 同步信息。 sync_time Long 同步时间。 create_time Long 创建时间。 create_user String 创建者。
Studio是否支持版本升级? DataArts Studio是否支持版本降级? DataArts Studio支持哪些数据源作为数据湖底座? 如何查看套餐包的剩余时长? 更多 技术专题 技术、观点、课程专题呈现 数据迁移实战 同构/异构数据源之间批量数据迁移实战 华为云大数据技术解密 华为云大数据技术私享会资料下载
多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下: “起始保留长度”为“3”。 “结尾保留长度”为“4”。
同步状态,UNKNOWN,NOT_SYNC,SYNCING,SYNC_SUCCESS,SYNC_FAIL sync_msg String 同步信息。 sync_time Long 同步时间。 create_time Long 创建时间。 create_user String 创建者。
多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下: “起始保留长度”为“3”。 “结尾保留长度”为“4”。
多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下: “起始保留长度”为“3”。 “结尾保留长度”为“4”。
code String 返回编码。 errCode String 错误码。 message String 报错信息。 externalMessage String 附加信息。 请求示例 创建一个源端为Elasticsearch数据连接,目的端为DIS数据连接,作业名为es_css的数据迁移作业。
同步状态,UNKNOWN,NOT_SYNC,SYNCING,SYNC_SUCCESS,SYNC_FAIL sync_msg String 同步信息。 url String url路径名称。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String
code String 返回编码。 errCode String 错误码。 message String 报错信息。 externalMessage String 附加信息。 请求示例 修改一个源端为Elasticsearch数据连接,目的端为DIS数据连接,作业名为es_css的表数据迁移作业。
中小企业规模,具备全职数据开发治理人员,需要轻量数据治理能力,如数据质量、数据目录和数据服务等,性价比首选。 企业版 有完善的数据管理团队和体系,中大型企业规模,需要进行企业信息架构、数据标准、数据模型、数据指标的落地,匹配完整的DAYU数据治理方法论。 旧版本模式 初级版 建设初期数据湖项目,无全职数据开发人员、不涉及数据治理。
作业每月15号执行一次。A作业的执行依赖B作业上个月15号的运行实例。 周依赖小时 规则:依赖自然天,范围是[前一天的零点,当天的零点),查找前一天的小时任务作业B是否执行完成,然后执行周任务作业A。 举例:A依赖B,A作业每周一调度,B作业每小时第50分钟执行。则A作业会一直等
A作业会在B作业执行完成后执行。 图14 天依赖月 周依赖小时 规则:依赖自然天,范围是[当天的零点零分零秒,当天的23点59分59秒),查找当天的小时任务作业B是否全部执行完成,然后执行周任务作业A。 举例:A依赖B,A作业每周一调度,B作业每小时第50分钟执行。则A作业会一直
况。 图38 导入汇总表成功 导入成功后,请单击“发布”,使其处于“已发布”状态。 搬迁后验证 在新空间的表数据导入完成后,您可以在新空间查看并验证模型和表数据等是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
以,作业的周期调度的日期与该作业补数据的业务日期不能重合,周期调度和补数据不能同时运行,避免出现运行异常问题。 调度日历 根据已配置的日历信息,选择所需的调度日历。系统默认不使用调度日历。配置调度日历的操作请参见配置调度日历。 使用按日历进行自定义工作日期进行周期调度,如果非工作
响应Body参数 参数 参数类型 描述 submissions Array of StartJobSubmission objects 作业运行信息,请参见submission参数说明。 表10 StartJobSubmission 参数 参数类型 描述 isIncrementing Boolean