检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL操作”进行操作。格式如下: `目标字段`="操作值" 建议表达式目标字段以反引号包裹,操作值以双引号包裹,需要匹配多个行数据时,可以用AND拼接,例如: `role`="test" AND `department`="sales" 单击“提交”,完成行级访问控制策略创建。行
和密码。 如果Oracle数据库是在本地数据中心或第三方云上,需要确保Oracle可通过公网IP访问,或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了Oracle数据库驱动。 创建CDM集群并绑定EIP
自定义项英文名称。 not_null Boolean 是否必填。 optional_values String 可选值。当可选值有多个时,用分号分隔。 type String 自定义项类型。 枚举值: TABLE: 表自定义项 ATTRIBUTE: 属性自定义项 SUBJECT:
其中HMAC指密钥相关的哈希运算,HexEncode指转十六进制。伪代码中参数说明如表1所示。 表1 参数说明 参数名称 参数解释 APP secret 签名密钥,认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 string to sign
DWR基于多维模型,和DWI层数据粒度保持一致。 DM Data Mart (DM) 又称数据集市。DM面向展现层,数据有多级汇总。 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整
request.addQueryStringParam("use_total_num", "0"); 配置AppKey和AppSecret。由于认证用的AppKey和AppSecret编码到代码中或者明文存储都有很大的安全风险,因此建议在配置文件或者环境变量中存放,确保安全,本示例从环境变量中获取。
指定加载的Jar包类名,如KafkaMessageStreaming。 默认:根据Jar包文件的Manifest文件指定。 指定:需要输入类名并确定类参数列表(参数间用空格分隔)。 说明: 当类属于某个包时,需携带包路径,例如:packagePath.KafkaMessageStreaming。 入口参数 是
API_SPECIFIC_TYPE_ORCHESTRATE:编排类API API_TYPE_CREATE:创建类API(已弃用) API_TYPE_REGISTER:注册类API(已弃用) auth_type 否 String 认证类型。 枚举值: APP: app secret认证 IAM: IAM
基于全量数据,随机取x%的数据 基于已采集的全量数据在数据目录中生成数据概要。 适用于数据量较多的情况。 DLI队列 选择获取profile数据,执行DLI SQL用的队列。 勾选“采集唯一值”表示只统计已采集的表中的唯一值的个数,并在数据目录中的概要页签呈现。 数据分类配置说明(仅当数据目录组件中具备数
您按照业务量情况规划多个Agent分担压力。 hsbroker IP列表 是 MRS Hetu组件的hsbroker节点ip列表,多个ip用“,”分隔。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > HetuEngine > 角色
S集群数据连接。 FE IP 是 MRS集群Doris或者Cloud组件frontend节点的IP,可以填写一个或多个IP。如果有多个ip用“,”分隔。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Doris > 实例”,获取FE角色的管理IP。
Studio数据质量组件的操作权限,其余组件仅有查看权限但无法编辑。 用户登录并验证权限 以创建IAM用户并加入用户组章节中新建的IAM账号登录华为云控制台,切换至授权区域。 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。
名称只能全部小写,不能有大写。 索引下的字段类型创建后不能修改,只能创建新字段。 如果一定要修改字段类型,需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建(数据也会删除)。 CDM自动创建的索引,字段类型为date时,要求数据格式为“yyyy-MM-dd
员升级CDM集群中的dlg-agent组件版本。 IP 是 MRS Ranger组件中RangerAdmin角色的管理IP。如果有多个ip用“,”分隔。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Ranger > 实例”,可查
Boolean 选择是否开启消息通知。开启后,支持配置20个手机号码或邮箱,作业(目前仅支持表/文件迁移的作业)失败时、EIP异常时会发送短信或邮件通知用。 phone_num 否 String 接收消息通知的手机号码。 email 否 String 接收消息通知的邮箱。 表4 cluster
CatalogAttributeVO object 属性列表。 表5 CatalogAttributeVO 参数 是否必选 参数类型 描述 path 是 String 路径。用“/”作为分隔,如:运营领域/云学院/云学院培训方案。 qualifiedName 是 String 资产名称。 level 是 String
L表名相同的DWS表中。 自定义:数据将同步至自行指定的DWS表中。 图5 整库场景下源库表和目标匹配策略 说明: 自定义匹配策略时,支持用内置变量#{source_db_name}和#{source_table_name}标志来源MySQL的库名和表名,其中表匹配策略必须包含#
项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 job_name 是 String 查询多个作业用all,查询单个作业输入作业名。 表2 Query参数 参数 是否必选 参数类型 描述 filter 否 String 当“job_name
CatalogAttributeVO object 属性列表。 表5 CatalogAttributeVO 参数 是否必选 参数类型 描述 path 是 String 路径。用“/”作为分隔,如:运营领域/云学院/云学院培训方案。 qualifiedName 是 String 资产名称。 level 是 String
且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时,才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2