检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
路径为准。 单击“确定”。 查看脚本执行的结果 选择“数据开发 > 下载中心”进入“下载中心”页面。 可以查看本地下载任务和异步转储任务的文件名、操作人,操作时间,操作类型,任务状态,OBS路径。 对于转储任务下载失败的记录可以查看记录。 单击“操作”列的,可以从OBS路径下载数据。
数据集成提供同构/异构数据源之间批量数据迁移的服务,支持自建和云上的文件系统,以及关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成 支持的数据源 创建CDM集群 创建CDM与数据源之间的连接 新建表/文件迁移作业 数据目录(元数据采集) 为了在DataArts
”和“显示当前作业及其直接上下游”。 视图右上角支持按节点名称进行搜索,搜索出来的作业节点高亮显示。 单击下载按钮,可以下载作业的依赖关系文件。 鼠标滚轮可放大、缩小关系图。 鼠标按住空白处,可自由拖拽用以查看完整关系图。 鼠标光标悬停在作业节点上,该作业节点会被标记为绿色,上游
Migration作业需要根据DRS的同步位点启动作业,做到数据的续传、不漏数。 请联系DRS运维人员获取到DRS任务同步的安全位点(一个binlog文件名),联系MySQL数据库运维根据安全位点查询出当前DRS已同步binlog的时间戳,根据这个时间戳启动Migration作业。 在启动M
暂停调度”/“恢复调度”/“停止调度”。 如果该批处理作业设置有依赖的作业,执行调度该作业时可以设置为只启动当前作业或同时启动依赖的作业。如何配置依赖作业,请参见配置作业调度任务(批处理作业)。 如果该作业在基线任务链路上,暂停调度/停止调度时,系统会自动给出基线关联的弹窗提示。
间-偏移量”。 TBL_X hive写入模式 选择hive的写入模式。 TRUNCATE+LOAD:TRUNCATE模式只清理分区下的数据文件,不删除分区。 LOAD:写入前不做任何处理。 LOAD_OVERWRITE:将生成一个临时目录,目录名为:表名_UUID,使用hive的load
为1~128个字符。 图片路径 是 需要识别的图片在OBS上的路径。 识别类型 是 可识别的图片类型, 当前仅支持通用文字识别。可支持扫描文件、电子文档、书籍、票据和表单等多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。 表2 高级参数 参数 是否必选 说明
目列表中查看项目和项目ID。 说明: 数据开发作业运行完以后,运行结果日志会存储在OBS桶路径下面,便于查看运行历史记录,文件格式为xxxxx.log的文件就是作业运行日志,xxxxx表示作业id。已经运行完的SQL结果,删除历史记录后,不会影响业务。 DLI脏数据OBS路径 用于指定DataArts
节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 导出复合指标 可通过导出的方式将复合指标导出到本地。
更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 导出 可通过导出的方式将原子指标导出到本地。
单击“确定”,用户组创建完成,用户组列表中显示新创建的用户组。 您最多可以创建20个用户组,如果当前资源配额无法满足业务需要,您可以申请扩大配额,具体方法请参见:如何申请扩大配额? 在用户组列表中,单击新建用户组右侧的“授权”。 图5 进入用户组权限设置页面 在搜索框中输入DAYU User,勾选该系统角色,单击“下一步”。
同步,且不支持为空间权限集关联角色;而权限集可通过权限同步进行权限管控(实际使用时,更推荐通过权限集关联角色进行权限管控)。 本章主要描述如何通过创建空间权限集和配置空间权限集定义工作空间权限范围。 前提条件 配置权限集前,已在管理中心创建数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS
BYTES_WRITTEN:表示写入的字节数。 BYTES_READ:表示读取的字节数。 TOTAL_FILES:表示总文件数。 FILES_WRITTEN:表示写入的文件数。 FILES_READ:表示读取的文件数。 ROWS_WRITTEN:表示写入成功的行数。 ROWS_READ:表示读取成功的行数。
EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功,决定执行哪一个IF条件分支。基于图1的样例,说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实
同步,且不支持为空间权限集关联角色;而权限集可通过权限同步进行权限管控(实际使用时,更推荐通过权限集关联角色进行权限管控)。 本章主要描述如何通过创建权限集和配置权限集进行权限管控,在实际使用中更加推荐您通过配置角色进行权限管控。 前提条件 配置权限集前,已完成空间权限集的配置,请参考配置空间权限集。
EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功,决定执行哪一个IF条件分支。基于图1的样例,说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实
udtable集群的HBase/OpenTSDB表。 OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。 说明: 转储至CloudTable,仅华北-北京一区域支持。 单击,在弹出的对话框中配置转储任务的参数(参数
environmentVariable importEnvParams 更新空间配置项 workspaceConfig updateWorkSpaceConfigs 上传文件 file uploadFile 配置空间委托 agency saveAgency 保存敏感变量 sensitiveParam saveSensitiveParam
开发实时处理单任务MRS Flink Jar作业 前提条件 参见新建作业创建一个实时处理的单任务Flink Jar作业。 配置MRS Flink Jar作业 表1 配置MRS Flink Jar作业属性参数 参数 是否必选 说明 Flink作业名称 是 输入Flink作业名称。