检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这五种预置角色可被分配。如果预置角色可以满足您的使用需求,则无需自定义工作空间角色,直接将用户添加到工作空间成员、配置预置角色即可;否则,请您创建自定义角色,再将用户添加到工作空
主键取值方式为“联合主键”时,显示主键分隔符配置项,用于将多选的主键用主键分隔符拼接写入id。 _ 高级属性 管道ID 需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 pipeline_id
通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 选择CDM集群作为网络代理,必须和ClickHouseServer网络互通才可以成功创建连接。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活
配置源端MySQL库表与目的端Kafka Topic的映射规则,可指定为固定的一个Topic,也可使用内置变量做映射,将不同源表数据同步到不同的Topic中。 可以使用的内置变量有: 源库名:#{source_db_name}。 源表名:#{source_table_name}。 分库分表 无该配置项
dcount.py为脚本存放路径; obs://obs-tongji/python/in.txt为wordcount.py的传入参数路径,可以把需要统计的单词写到里面; obs://obs-tongji/python/out为输出参数文件夹的路径,并且会在OBS桶中自动创建该目录(如已存在out目录,会报错)。
特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无关。仅支持同一账号下用户对已通过水印注入或动态水印注入水印后的结构化数据文件进行水印提取。
因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 不同CDM集群支持的数据源程度不一样,以实际为准。 表/文件同步支持的数据源类型 表/文件同步可以实现表或文件级别的数据同步。 支持单表同步的数据源如表1 离线作业不同数据源读写能力说明所示: 表1 离线作业不同数据源读写能力说明 数据源分类
"schema_name"."table_name" ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS; 设置成功后通过以下SQL可以查询到ALL_COLUMN_LOGGING说明该表已经开通补充日志。 SELECT 'KEY', LOG_GROUP_TYPE FROM ALL_LOG_GROUPS
指导您快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 购买并配置DataArts Studio 注册账号并实名认证 购买DataArts Studio实例 购买DataArts Studio增量包 创建并配置简单模式工作空间 升级企业模式工作空间
在导入记录中,可查看导入状态,显示为成功后即成功导入。 图18 查看对账作业导入结果 搬迁后验证 在新空间的规则模板、质量作业、对账作业导入完成后,您可以在新空间查看并验证规则模板、质量作业、对账作业是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
Spark这三种数据源,如果在创建数据连接时选择同一个集群资源,则需要在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离,具体请参见DB配置。 对于数据源为DLI时,可以通过企业模式环境隔离配置两套DLI队列和DB数据库进行生产与开发环境的隔离。具体请参见配置DataArts Studio企业模式环境隔离。
DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_by
DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_by
境要求。 表1 自检项 自检项 说明 需要执行的准备工作 华为云账号及权限准备 准备华为账号,创建用户并授权使用Migration。 参考注册华为账号并开通华为云。 参考授权使用实时数据集成。 实时计算资源组准备 购买实时集成任务使用的计算资源,并关联到要使用的DataArts Studio工作空间。
件分支、并行处理和输出处理暂不支持。表达式标准写法为:${节点编码|变量名},定义方法如表2所示。 节点编码:由系统动态分配,不可改动。您可以在API编排的画布中,单击节点后在节点详情中查看节点编码,并支持通过复制节点编码。 图1 查看节点编码 变量名:支持的变量包括请求参数值和结果集相关参数,详情请参见表2。
请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权。 408 Request Time-out 服务器等候请求时发生超时。 客户端可以随时再次提交该请求而无需进行任何更改。 409 Conflict 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经
数据质量管理是数据应用和运营过程中数据准确性、一致性、完整性、及时性、唯一性、有效性的重要保障,是数据业务价值创造的重要前提。 数据目录管理模块完成元数据的采集和注册,为数据应用和数据消费提供了解数据的窗口。 数据服务管控实现在数据服务开发过程中服务标准、规范、要求和管理的落实,数据服务打通数据应用和数据消费的物理通道。
项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
要切换用户同步策略。操作步骤如下所示: MRS安全集群Ranger组件默认同步LDAP用户,默认情况下无需额外操作。如果默认配置被修改,也可以参考本章节切换用户同步策略。 使用admin账户登录MRS服务的Manager页面。 在Manager页面选择“集群 > 服务 > Ranger
of strings 需要物化的逻辑实体的ID列表,ID字符串。 dw_type 是 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 connection_id