检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“导出”,导出zip格式的解决方案文件至本地。 导入解决方案 导入解决方案功能依赖于OBS服务,如无OBS服务,可从本地导入。 在解决方案目录中,右键单击根目录“解决方案”,选择“导入解决方案”,导入已上传到OBS或者本地的解决方案文件。 在硬锁策略下,如果锁在其他人手中,重
而数据服务专享版集群如果要支持公网访问,仅在创建数据服务专享版集群时,勾选开启“公网入口”才能进行公网访问。因此,对于已创建的未开启公网入口的数据服务专享版集群,不支持再绑定弹性公网IP,即无法再直接通过公网访问。 在这种情况下,您可以导出当前集群的API,然后重新新建一个开启“公网入口”的数据服务专享版集群,再将
查看表 对于关系建模中的表,您可以查看模型视图、表详情、关系图、预览SQL以及发布历史。 查看模型视图 当您在关系模型中完成表的新建后,就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图,您可以切换为模型视图进行查看。 在DataArts Studio
全,进一步提升企业数据安全能力,增强数据安全意识,挖掘数据价值,培育数据要素市场。 DSMM标准以组织的数据为中心,围绕数据的采集、传输、存储、处理、交换、销毁全生命周期,从组织建设、制度流程、技术工具、人员能力4个能力维度,按照1-5级成熟度,评价组织的数据安全能力。 图1 数据安全能力成熟度模型
导入包含API信息的EXCEL文件 导入包含API信息的EXCEL文件。 2400 120 导出包含API信息的EXCEL文件 导出包含API信息的EXCEL文件。 2400 120 全量导出包含API的EXCEL压缩文件 全量导出包含API的EXCEL压缩文件。 2400 120 下载EXCEL模板
使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作,与CDM迁移近一个月的数据相同,都是使用二进制直接传输文件目录,2个集群并发执行作业。 注意事项 当迁移动作影响到客户的HDFS集群时,需要手动停止作业。 如果作业出现大批量的失败: 先检查DES
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业 父主题: 数据集成
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
DLI权限同步时,需要该权限。 例如DLI权限同步时,如果无此权限会导致同步失败,系统提示权限不足。 DLI权限管理时必选 dli:database:grantPrivilege dli:table:grantPrivilege dli:column:grantPrivilege
作业开发流程 作业开发功能提供如下能力: 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。
作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题: 数据开发API(V1)
”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 OBS路径 是 删除OBS桶或目录的路径。 说明: 删除的文件将无法恢复,如需保留文件,请在删除前备份该桶下的数据。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点
群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154.48.120时,hosts文件中的自映射配置为: 10.154.48.120 10.154
具体的标准、规范、程序等。 数据安全管理制度文件可分为四个层面,一、二级文件作为上层的管理要求,应具备科学性、合理性、完备性及普适性。三、四级文件则是对上层管理要求的细化解读,用于指导具体业务场景的具体工作。 图2 数据安全管理制度文件 技术工具 数据安全技术体系并非单一产品或平
PI的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中
作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 (可选)管理作业
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术资产
”,且长度为1~128个字符。 作业类型 选择作业的类型,须选择实时处理。 离线处理:对已收集的大量数据进行批量处理和分析,这些任务通常是在计算资源和存储资源方面经过优化,以确保高效的数据处理和分析。这些任务通常是定时(例如每天、每周)执行,主要处理大量历史数据,用于批量分析和数据仓库。 实
新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。