检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击左侧导航栏中的“审核中心”,进入相应页面后,选择“审核人管理”页签,然后单击“新建”按钮。 图1 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 审核API申请 在DataArts Studio控制台首页
人工值守。 使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7*24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由一个单一任务完成的,受限于资源,整体性能较低,对于海量数据场景通常不能满足要求。 CDM任
”,且长度为1~128个字符。 作业类型 选择作业的类型,须选择实时处理。 离线处理:对已收集的大量数据进行批量处理和分析,这些任务通常是在计算资源和存储资源方面经过优化,以确保高效的数据处理和分析。这些任务通常是定时(例如每天、每周)执行,主要处理大量历史数据,用于批量分析和数据仓库。 实
购买DataArts Studio增量包 如何选择增量包 购买批量数据迁移增量包 购买数据集成资源组增量包 购买数据服务专享集群增量包 购买作业节点调度次数/天增量包 购买技术资产数量增量包 购买数据模型数量增量包 父主题: 购买并配置DataArts Studio
密级。 分类模板 分类类型选择“内置”,呈现此参数。如果选择“内置”,用户可以根据实际需要选择系统内置的敏感数据识别定义模板,例如:时间、手机号、车牌号。 分类名称 分类类型选择“内置”,分类名称自动关联分类模板生成。 分类类型选择“自定义”,用户可以自行填写分类名称。 说明: 定义数据分类规则,名称必须唯一。
规则分组接口 数据权限查询接口 数据密级接口 权限应用接口 敏感数据分布接口 用户同步接口 队列权限接口 数据分类接口 数据安全诊断接口 空间资源权限策略管理接口 安全管理员接口 动态数据脱敏接口 权限审批接口 权限申请接口
ey和AppSecret等信息,具体参见认证前准备。 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 获取并安装PHP安装包,如果未安装,请至PHP官方下载页面下载。 将PHP安装目录中的“php.ini-production”文件
Studio数据开发的DLI SQL脏数据默认存储在以“dlf-log-{projectId}”命名的OBS桶中。 标签 通过为资源添加标签,可以对资源进行自定义标记,实现资源的分类。 说明: 如您的账号归属某个组织,且该组织已经设定DataArts Studio服务的相关标签策略,则需按照
据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。
可通过如下两种方式填写数据文件: (推荐使用) 通过“导出”功能,可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”,将数据填写好,再导入至系统中。 分别配置数据连接、集群、目录、主题的映射资源信息。如不选择,默认使用原映射资源信息。 图11 配置映射资源信息 数据连接:选择导入后的数据连接类型。
值被重新定义。数据湖能给企业带来多种能力,例如实现数据的集中式管理,帮助企业构建更多优化后的运营模型,也能为企业提供其他能力,如预测分析、推荐模型等,这些模型能刺激企业能力的后续增长。 对于数据仓库与数据湖的不同之处,可以类比为仓库和湖泊的区别:仓库存储着来自特定来源的货物;而湖
据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。
boolean 是否导出作业依赖的脚本和资源。 默认值:true 响应参数 批量导出作业响应消息和导出作业响应消息一致,请参考 响应参数。 请求示例 导出两个作业,作业名称分别为job_batch和job_stream。是否导出作业依赖的脚本和资源默认为true。 POST /v1/
resource_name 否 String 作业所依赖的资源名称。 {job_name}.job文件内容 文件中的参数与创建作业接口的请求参数一样,请参考创建作业。 {script_name}.script文件内容 文件中的参数与创建资源接口的请求参数一样,请参考创建脚本。 请求示例 导出作业myJob。
updated? 节点状态为成功,为什么日志显示运行失败? 调用数据开发API报错Unknown Exception? 调用创建资源的API报错“资源名不合法”是什么原因? 补数据的作业实例都是成功的,为什么补数据任务失败了? DWS数据连接可视化建表,报错提示“表已存在”,但是展开数据连接看不到该表?
各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。 CDM是批量离线迁移工具,不建议客户创建大量小作业场景。 其他组件API更详细的限制请参见具体API的说明。
是,您可以错开数据迁移作业和管理中心连接代理的使用时间,或再创建CDM集群,与原有CDM集群分开使用。 否,跳转至步骤3。 直接重启该CDM集群,释放连接池资源。确认管理中心的数据连接恢复正常。 父主题: 管理中心
APP申请续约: APP所有者可发起,续约会更新授权有效期,仅支持延长有效期,不能减少,需要API审核。 申请自己的API推荐采用API主动授权/续约,无需审核。 自己的应用推荐采用APP解除授权,无需预留准备时间。 调用方法 请参见如何调用API。 URI POST /v1/{proje
ROMA实例 是 选择一个已存在的ROMA实例。 DataArts Studio支持跨资源空间选择ROMA实例。 FDI任务 是 选择一个已存在的ROMA FDI任务。 DataArts Studio支持跨资源空间选择FDI任务。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒)
为“catalog名_schema名+表名+列名”。如果Hetu端的Ranger上已有相同资源、名称的策略,则会导致同步权限至Hetu端的失败,此时需要手动清理Hetu端的Ranger上资源、名称冲突的策略。 创建hetu权限同步策略 在DataArts Studio控制台首页,