检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“编辑”按钮,并打开“生成异常数据”的开关。开启此项,表示异常数据将按照配置的参数存储到规定的库中。 输入数据库或Schema信息,表示存储异常数据的数据库或Schema。 设置异常表的表前缀和表后缀,表示存储异常数据的表前缀和后缀。 异常表的前后和后缀只能包含英文字母、数字和下划线。
现不同用户具有不同的数据权限,使角色/权限集中的权限管控生效。 细粒度认证开关对数据开发中的脚本、作业运行影响总结如下: 当关闭细粒度认证时,数据开发中的脚本执行、作业测试运行、执行调度使用数据连接上的账号进行认证鉴权。 当启用开发态细粒度认证后,数据开发中的脚本执行、作业测试运
什么是数据仓库? 随着数据库的大规模应用,使信息行业的数据爆炸式的增长。为了研究数据之间的关系,挖掘数据隐藏的价值,人们越来越多的需要使用联机分析处理OLAP(On-Line Analytical Processing)进行数据分析,探究一些深层次的关系和信息。但是不同的数据库之间很难做到
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成(CDM作业)
数据集成(CDM作业) 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
Hive数据连接中的用户账号需要同时满足如下条件: 需要配置至少具备Cluster资源管理权限的角色(可直接配置为默认的Manager_operator角色)。 需要配置hive用户组。 为实现DWS数据源的数据访问审计,需要满足如下条件: 已开启DWS集群的审计功能开关audit_enabled。
是 table 整表迁移 源端和目的端都为HBase时显示该参数。 整表迁移通过二进制传输数据,表的所有信息都会传递。HBase->HBase整表迁移会传递列的timestamp信息,非整表迁移只传递列的value值。 是 否 列族 导出数据的列族。 例如:CF1&CF2 是 CF1&CF2
不同的数据源类型,并通过角色、集群名称、数据库或表名检索。 通过空间权限集、权限集或角色授权的流程详见配置空间权限集、配置权限集或配置角色。 图3 表-角色 “表-用户组”页签:默认展示当前实例下,通过授权对象为用户组的权限申请和审批流程所获取的表权限。支持筛选不同的数据源类型,
您可以通过图1来了解。 图1 水印使用流程 约束与限制 当前数据水印任务仅支持MRS Hive数据源。 主键不支持嵌入水印。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段嵌入水印。 数据水印嵌入任务的数据集范围选择为增量时,需选择时间字段类型Tim
会变化的数据,需要使用快照保证数据不变,然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群,2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时,HBase修复命令已经不再支持,通过HBase数据目录迁移的方式无法使用。
ault。关于默认密钥的更多信息,请参见什么是默认密钥。 KMS是一种安全、可靠、简单易用的密钥托管服务,对密钥的所有操作都会进行访问控制及日志跟踪,提供所有密钥的使用记录,满足审计和合规性要求。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 适用组件勾选数据集成时显示该参数。 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理
关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建LTS数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。
Migration在配置8CU的情况下可以支撑8000条/秒的同步速率。流量较大的表建议单独配置作业。 图2 查看监控指标 图3 查看指标详情 参考客户建议,根据客户业务需求创建作业。 网络打通 Migration资源组需要打通数据源的网络连通。在DRS任务的基本信息中查看数据源配置,根据Migration网络打通教程完成网络打通。
泄露。 *数据源类型 从下拉列表中选择MRS Hive数据源或MRS Spark数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择,自动匹配数据连接中的数据源集群。 *数据库
操作场景 您可以通过同步API功能,在数据服务共享版与专享版之间进行同步API,或将共享版与专享版的API同步至数据地图。 前提条件 已创建API。 共享版与专享版同步 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏
Studio数据连接。DWS数据连接中的账户要具备待控制表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。 行级访问控制为指定用户/用户组在数据源上关联策略,因此需要先将IAM上的用户信息同步到数据源上,详见同步IAM用户到数据源。 如果希望在DataArts
持人员。 基础与网络连通配置 OBS终端节点 是 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。
API网关收到请求后,执行1~3,计算签名。 将3中的生成的签名与5中生成的签名进行比较,如果签名匹配,则处理请求,否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1:构造规范请求 使用APP方式进行签名与认证,首先需要规范请求内容,然后再进行签名。客户端与API网关使用相同的请求规范,可以