检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户ID可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
这里的连接器类型,是根据待连接的数据源类型分类的,包含了CDM目前支持导入/导出的所有数据源类型。 图2 选择连接器类型 选择数据源类型后,单击“下一步”配置连接参数,这里以创建MySQL连接为例。 每种数据源的连接参数不同,您可以根据所选择的连接器类型在表1中查找对应参数。
通过SQL语句、视图、函数、存储过程查询包含行级访问控制策略的表,都会受影响。 同步行访级问控制策略后,不支持对行访问控制策略依赖的列进行类型修改。 创建行级访问控制策略 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。
data Array of TableLineageInfo objects 当前页作业算子包含的表血缘列表 表5 TableLineageInfo 参数 参数类型 描述 source_guid String 上游血缘资产guid。
数据准备 原始告警表为数据中心的实时数据,包含告警ID、告警级别。示例数据如表1所示。
异常表的前后和后缀只能包含英文字母、数字和下划线。 配置好以后,单击保存异常数据配置信息。 系统支持配置where表达式,可依据用户输入的where条件对字段进行过滤。 父主题: 维度建模
购买并配置DataArts Studio 注册账号并实名认证 购买DataArts Studio实例 购买DataArts Studio增量包 创建并配置简单模式工作空间 升级企业模式工作空间 授权用户使用DataArts Studio 创建IAM用户并授权 自定义工作空间角色 添加工作空间成员和角色
注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 单次写入行数 指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次。
在本次操作中,定义循环执行的是一个包含了DLI SQL节点的任务。 进入DataArts Studio数据开发模块选择“作业开发”页面,新建作业ForeachDemo,然后选择DLI SQL节点,编排图3所示的作业。 DLI SQL的语句中把要替换的变量配成${}这种参数的形式。
在本次操作中,定义循环执行的是一个包含了DLI SQL节点的任务。 进入DataArts Studio数据开发模块选择“作业开发”页面,新建作业ForeachDemo,然后选择DLI SQL节点,编排图3所示的作业。 DLI SQL的语句中把要替换的变量配成${}这种参数的形式。
DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。 如果该集群已经满足您的使用需求,则无需再购买批量数据迁移增量包。 如果您需要CDM集群用于满足业务需求,请通过按需计费方式购买批量数据迁移增量包。
主要包含建立数据连接、新建数据库、新建数据表等操作。 在本例中,相关数据管理操作已经在步骤2:数据准备中完成,本步骤可跳过。 脚本开发 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,集群的“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”,并且集群中包含所需要的组件。
*策略名称 用于标识MRS Yarn队列权限策略,为便于策略管理,建议名称中包含授权对象。 策略描述 为更好地识别策略,此处加以描述信息。 策略状态 开启后当前策略生效。 审计日志 开启后可记录当前队列的操作日志,需要在数据源侧查看对应的审计日志。
当前集成作业包含CDM作业、离线作业和实时作业三种场景,支持的数据源情况如下: 数据集成(CDM作业)的数据连接在CDM集群中创建,CDM集成作业支持的数据源与CDM集群版本相关,详情请参见数据集成(CDM作业)支持的数据源。
id String 数据标准ID,ID字符串。 actived Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required Boolean 是否必填。
限定接口 限定接口,包含时间限定、通用限定。 维度表接口 维度表接口。 事实表接口 事实表接口。 汇总表接口 汇总表接口。 业务指标接口 业务指标接口。 版本信息接口 版本信息接口。 关系建模接口 表模型。 导入导出接口 导入导出接口。 自定义项接口 自定义项接口。
include_parent_entity 否 Boolean 是否包含父类实体,默认false。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。