检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
string.Join(", ", req.Headers.GetValues("x-Authorization"))); 访问API,查看访问结果。 1 2 3 4 5 6 var writer = new StreamWriter(req.GetRequestStream());
RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP HANA)、GBASE8A 说明: 创建数据连接时也支持用户使用自建的数据库,如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP HANA,在选择界面对应的RDS
确定数据安全防护的目标、管理策略及具体的标准、规范、程序等。 数据安全管理制度文件可分为四个层面,一、二级文件作为上层的管理要求,应具备科学性、合理性、完备性及普适性。三、四级文件则是对上层管理要求的细化解读,用于指导具体业务场景的具体工作。 图2 数据安全管理制度文件 技术工具
查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: 数据集成API
其下一级的业务对象。 业务对象:指企业运作和管理中不可缺少的重要人、事、物信息。 流程设计:针对流程的一个结构化的整体框架,描述了企业流程的分类、层级以及边界、范围、输入/输出关系等,反映了企业的商业模式及业务特点。 数仓规划:对数仓分层以及数仓建模进行统一管理。支持用户自定义数仓分层。
订阅动态脱敏策略 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“动态脱敏”,进入动态脱敏页面,然后切换到“动态脱敏订阅”页签。 图2 进入动态脱敏订阅页签 单击“创建订阅”,弹出创建订阅窗口,参数配置参考表1。
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type
行。 图1 作业依赖关系 这时请勿停止作业,您可以将失败的作业实例进行重跑,或者将异常的实例停止再重跑。失败实例成功后,后续作业会继续正常运行。如果不通过数据开发,手动将作业实例中的业务场景处理后,可以强制成功作业实例,后续作业也会继续正常运行。 父主题: 数据开发
/default。关于默认密钥的更多信息,请参见什么是默认密钥。 KMS是一种安全、可靠、简单易用的密钥托管服务,对密钥的所有操作都会进行访问控制及日志跟踪,提供所有密钥的使用记录,满足审计和合规性要求。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts
在数据安全组件创建动态脱敏策略后,系统会将动态脱敏策略同步到数据源服务,由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 数据水印 数据安全支持将水印标记嵌入到原始数据,保证数据的可用
Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 跨空间进行作业调度 使用Python脚本连接MRS安全集群执行Impala SQL 天任务依赖分钟任务 Flink Jar作业开发指导
separator 否 String 字段分隔符,默认为空格。 toJobConfig.identifierEnclose 否 String 连接引用表名或列名时的分隔符号,默认为空。 父主题: 目的端作业参数说明
6及以上版本的数据服务专享版集群支持API编排。 API工作流发布前,需确保其中的普通API均已处于已发布状态。 算子和工作流简介 在API工作流编排页面,您可以自由拖拽各类算子到画布中,然后基于特定的业务逻辑和流程通过连线编排工作流,最后配置算子,完成后即可保存、调试及发布工作流。 API
实例监控”,进入实例监控界面。 在运维调度的“实例监控”页面,可以查看作业实例的运行详情以及运行日志等。 图21 实例监控 作业运行成功后,您可以在DataArts Studio数据目录中查看汇总表的数据预览,具体操作请参见步骤8:数据资产查看。您也可以在数据开发的“脚本开发”页面新建一个Hive SQL脚本
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理? 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? Oracle迁移到DWS报错ORA-01555 MongoDB连接迁移失败时如何处理? Hive迁移作业长时间卡顿怎么办?
如何将一个空间的数据开发作业和数据连接迁移到另一空间? 您需要通过导入导出功能,分别将旧空间的数据连接和作业数据导入到新空间内。 数据连接数据,需要在管理中心的资源迁移进行导入导出。具体操作请参考资源迁移。 作业数据,需要在数据开发中将作业导入导出。具体操作请参考导出导入作业。 父主题:
解绑API DLMFlowControlBindApi unBindingApi 查询统计用户相关的总览开发指标 DLMRequestRecord getApisOverview 查询统计用户相关的总览调用指标 DLMRequestRecord getAppsOverView 查询api
“使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如:
在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个数据开发批处理作业,作业名称可以命名为“import_ges”。 图2 新建作业 在作业开发页面,拖动1个Dummy节点、8个CDM Job节点、和2个Import GES节点到画
#{expr} 其中,“expr”指的是表达式。“#”和“{}”是数据开发模块EL中通用的操作符,这两个操作符允许您通过数据开发模块内嵌对象访问作业属性。 举例 在Rest Client节点的参数“URL参数”中使用EL表达式“tableName=#{JSONUtil.path(Job