检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当“触发事件类型”选择“DIS”或“OBS”时才需要配置。 连接名称 选择数据连接,需先在“管理中心”创建kafka数据连接。当“触发事件类型”选择“KAFKA”时才需要配置。 Topic 选择需要发往kafka的消息Topic。当“触发事件类型”选择“KAFKA”时才需要配置。 OBS路径 选择要监
此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。 单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。
单击左侧导航栏“日志管理”。 单击 “创建日志组”,在弹出框内,输入日志组名称。 单击“确定”,创建完成。 在“云日志服务”界面创建日志流。 选择已创建的日志组名称,进入该日志组页面。 单击“创建日志流”,在弹出框内,输入日志流名称。 单击“确定”,创建完成。 配置云服务访问日志转储
DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。 开通DLI服务后,您需要在管理中心创建DLI连接,然后通过数据开发组件新建数据库,再执行SQL来创建OBS外表。操作步骤如下:
说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name 是 String 连接名称,
图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件,则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定,且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CDM
图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件,则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定,且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CDM
管理脱敏算法 为了方便对数据进行脱敏,在创建脱敏策略前,需要您准备好脱敏算法。当前系统已内置20+脱敏算法,如果内置算法可以满足您的需求,您需要提前配置对应算法参数;否则,您可以新建脱敏算法。 本章主要介绍内置脱敏算法,和如何新建脱敏算法。 约束与限制 新建随机脱敏或字符替换类型
output通道配置转储任务 创建SMN主题 我们需要创建一个SMN主题并添加订阅,将需要收到告警通知的用户添加到订阅终端中。 创建一个SMN主题,主题名称为“alarm_over”。 图5 创建SMN主题 为1中的主题添加订阅,指定告警消息类型和需要接收告警通知的用户。 图6 添加订阅 关键参数说明:
此处以批量修改信息架构为例,展示如下: 在DataArts Studio数据架构控制台,单击左侧导航栏中的“信息架构”。 进入后,在页面选择所需要批量修改主题的项,单击“更多 > 修改主题”,可以将选中的项更改到其它主题。配置完成单击“确定”。 图1 批量修改主题 批量修改目录 当前
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每次查询的数据连接条数的限制量,默认20。 offset 否 Integer 每次查询的数据连接条数的分页页码,默认0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型
创建用户组并授权的具体操作,请参见创建用户组并授权。 配置用户组的DataArts Studio权限时,直接在搜索框中输入权限名“DAYU”进行搜索,然后勾选需要授予用户组的权限,如“DAYU User”。 DataArts Studio部署时通过物理区域划分,为项目级服务。授权
MRS资源队列 选择已创建好的MRS资源队列。 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 重跑策略 从上一个检查点重跑 重新启动 输入数据路径 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。
同一个集群,如图2所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图3所示。详细操作请参见DB配置。 图2 创建数据连接时选择同一个集群 图3 DB配置 数据准备与同步 数据湖服务创建完成后,您需要按照项目规划(例如数据开发需要操作的库表等),分别在开发
在数据架构控制台,单击左侧导航树中的“业务指标”,进入业务指标页面。 图4 管理业务指标 在业务指标列表中找到需要编辑的指标,单击“编辑”,进入编辑业务指标页面。 根据实际需要编辑业务指标的相关信息。 单击“保存”,保存所做的修改。或者,单击“发布”,发布修改后的业务指标。 发布业务指标
256-sha1,aes128-sha1”。 注意,通过输入框后的“选择”按钮仅能获取本项目内且企业项目相同的MRS集群,如果需要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户
单击按钮可以为逻辑实体属性添加密级。 如果没有您想要的密级,可点击跳转到数据安全界面中创建需要的密级。 如不使用该功能,可在配置中心 > 模型设计中关闭该功能。 关联维度 只有维度属性的字段需要绑定维度,度量属性的字段不需要进行此操作。 显示当前关联的维度及字段名称。单击可以更换关联的维度。 若已
创建用户组并授权的具体操作,请参见创建用户组并授权。 配置用户组的DataArts Studio权限时,直接在搜索框中输入权限名“DAYU”进行搜索,然后勾选需要授予用户组的权限,如“DAYU User”。 DataArts Studio部署时通过物理区域划分,为项目级服务。授权
*SQL队列 数据源类型为DLI时,需要选择DLI SQL队列。 *数据库 单击设置选择存储已脱敏数据的数据库。 不支持对DLI default数据库中的数据表进行脱敏。 *目标表名 用户手动输入,不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”,测试创建目
框右侧的“上传文件”进行上传。 Principal:仅安全模式集群需要填写该参数。Principal即Kerberos安全模式下的用户名,需要与Keytab文件保持一致。 上传Keytab文件:仅安全模式集群需要上传该文件。单击“添加文件”以选择本地的Keytab文件,然后通过操作框右侧的“上传文件”进行上传。