检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置添加订阅的责任人。责任人是创建作业时所配置的责任人信息。 终端协议 是 短信 邮件 电话 终端信息 是 设置订阅的终端信息。 单击“确定”。 终端订阅配置完成后，您可以在通知的“操作”列进行如下操作。 单击“请求订阅”，打开“请求订阅”页面，订阅状态为“未确认”，单击“确定”，确认订阅后，订阅状态为“已确认”。
关系表行数据在Redis中的存储方式分为“string”和“hash”两种存储方式。 STRING：表示用字符串通过分隔符来表示一行数据的各列，可以有效节省存储空间。 HASH：表示一行数据通过“列名：列值”的方式存储在hash表中。 fromJobConfig.valueSeparator
记录。 单击某一条运行记录，可查看当时的脚本信息和运行结果。 下载脚本历史运行结果。 系统默认支持所有用户都能下载脚本的历史运行结果。 您可以在结果页签单击“下载结果”。 支持将CSV格式的结果文件下载到本地。查询结果和下载结果最大支持1000条。 作业运行历史 在DataArts
String 映射前数据。 new_value 否 String 映射后数据。 mapping_value 否 String 映射后数据, 可以为空，为空则使用new_value。 响应参数 状态码： 500 表5 响应Body参数 参数 参数类型 描述 error_code String
模型设计：应用逻辑模型、关系建模、维度建模和数据集市的方法，进行分层建模。 逻辑模型：用于创建逻辑模型以及逻辑模型的修改和删除，转化为物理模型。同时，可以对逻辑实体进行创建及发布，进行逆向数据库等操作。 关系建模：基于关系建模，新建SDI层和DWI层两个模型。 SDI：Source Data
的单次最大记录值不同，详见下载或转储脚本执行结果。此处配置的记录值上限可参考此规格进行配置。 *授权对象 选择需要授权的用户。 指定用户：可以配置为指定的用户以及用户组。 说明： 每个用户或用户组只能有一条下载权限策略，但与全部成员的策略不冲突。 全部成员（包含新增成员）：为全体成员配置操作策略。
在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： DataArts Studio实例（指DataArts
例如：“id&gid&name”。 toJobConfig.pipeLine 否 String 需要先在kibana中创建管道ID，这里才可以选择，该参数用于数据传到云搜索服务/Elasticsearch后，通过Elasticsearch的数据转换pipeline进行数据格式变换。
该功能由目的端作业参数“校验MD5值”控制，读取文件后写入OBS时，通过HTTP Header将MD5值提供给OBS做写入校验，并将校验结果写入OBS桶（该桶可以不是存储迁移文件的桶）。如果源端没有MD5文件则不校验。 迁移文件到文件系统时，目前只支持校验CDM抽取的文件是否与源文件一致（即只校验抽取的数据）。
使用CDM将CDH集群中的HBase HFile抽取出来存入到MRS（MapReduce） HDFS中，再通过HBase修复命令重建HBase表。基于这种迁移方案，可以使用以下2种迁移方式同时进行： CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据： CDH → CDM（华为云） → MRS
该功能由目的端作业参数“校验MD5值”控制，读取文件后写入OBS时，通过HTTP Header将MD5值提供给OBS做写入校验，并将校验结果写入OBS桶（该桶可以不是存储迁移文件的桶）。如果源端没有MD5文件则不校验。 迁移文件到文件系统时，目前只支持校验CDM抽取的文件是否与源文件一致（即只校验抽取的数据）。
脚本接口是一个异步命令，需要通过查询脚本实例执行结果获取执行状态和结果。 DLI SQL和Presto SQL不支持多语句场景。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/scripts
每条数据的列数不固定，在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列，此时作业执行完后会造成目的端的数据不全。 这个问题，可以通过以下方法解决： 在CDM的字段映射界面增加字段。 在CDM的作业管理界面直接编辑作业的JSON（修改“fromJobConfig.columns”、“toJobConfig
作业配置完成后，保存并提交版本。 单击“执行调度”，启动作业调度。 在“作业监控”里面查看作业运行结果。 图5 查看作业的执行结果 在操作列的“更多”里面，可以查看最近实例DAG，作业实例依赖关系图。 图6 作业实例依赖关系图 父主题： 数据开发进阶实践
在“空间信息”中，单击“设置”按钮对已分配配额进行配置。 图4 设置已分配配额 数据服务已创建的API属于计费项，当前操作正在增加API配额，这会使工作空间下可以创建更多的API，同时可能使收费增加，请确认。 设置专享版API已分配配额。 图5 设置配额 已分配配额不能小于已使用配额，不能大于总配额-总分配配额+已分配配额。
备份成功后，在以“备份日期”命名的文件夹内，自动生成backup.json文件，该文件按照节点类型存储了作业信息，支持恢复作业前进行修改。 启动每日备份后，若想结束备份任务，您可以单击右边的“停止每日备份”。 还原资产 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 作业类型 是 选择 Flink SQL作业
输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts
startEndMark：默认是为false。设置为true时，写入消息前将会同步一个开始消息和结束的消息。 columnAsKey：指定写入数据key值，也可以通过指定字段值作为key，通过配置@{column1}--@{column2}。 例如：目的端字段为id、name，需要使用这两个字段值，则配置成@{id}--@{name}。
数据表 CSS 选择集群 选择待采集数据存储的CSS集群。 您也可以单击“新建”，创建CSS集群，创建完成后单击“刷新”，选择新建的CSS集群即可。 绑定Agent 请选择由CDM集群提供的Agent。 用户也可以单击“新建”，创建新的Agent，创建完成后单击“刷新”，选择新的Agent即可。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
