检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基线名称 输入基线名称。 责任人 选择基线责任人。 说明: 若要增加或者删除可选择的责任人,请前往DataArts Studio空间管理进行编辑操作。 基线对应的基线责任人如果有变动(比如,离职),需要及时更新基线责任人,否则可能导致基线运维的告警无法正常发送。 保障作业 选择需要
线。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回
即可支持),此处才支持进行“变更有效期”操作,详见变更有效期。 图10 回收权限 相关操作 编辑审批策略:在审批策略页面,单击对应策略操作栏中的“编辑”,即可修改审批策略各项参数。 编辑审批策略状态:新增的审批策略默认为关闭状态。当审批策略为关闭状态时,表示该策略将不生效。 需要
数据集成中的集群配置、环境变量等数据不支持导入导出,如有需要,请您进行手动配置同步。 由于安全原因,CDM不会将对应数据源的连接密码导出。因此在重新导入前,需要通过手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 从本地导入JSON文件时,导入文件大小不能超过1MB。 旧空间导出作业和连接 请您登录控
Administrator、Tenant Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。
绑定Agent:已创建的CDM集群。 开发Hive SQL脚本 在“数据开发 > 脚本开发”模块中创建一个Hive SQL脚本,脚本名称为“hive_sql”。在编辑器中输入SQL语句,通过SQL语句来实现业务需求。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内
RS 3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时,只能以日志形式显示执行结果。 说明: 为保证数据架构、数据质量、数据目录、数据服务等组件能够使用此MRS连接,此处连接方式推荐配置为“通过代理连接”。
或回收权限,才能删除相应队列权限。 数据安全无法删除当前正在数据开发中被使用的Yarn队列资源。 编辑策略:在MRS Yarn队列详情页面,单击对应策略操作栏中的“编辑”,即可编辑策略。 删除策略:在MRS Yarn队列详情页面,单击对应策略操作栏中的“删除”,即可删除策略。当需
Administrator、Tenant Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。
置Bucket桶数,以达到Migration写入性能最佳。 使用Bucket索引:通过在“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中配置index.type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。
数据脱敏为样本库脱敏,则测试算法时限制样本文件大小不能超过10kb。 测试结果 相关操作 编辑算法:在脱敏算法页面,单击对应算法操作栏中的“编辑”,即可修改算法参数。 不同算法是否支持编辑和支持修改的参数因实际算法不同有所差异,请以操作界面为准。 测试算法:在脱敏算法页面,单击对
10800 120 查看码表详情 通过ID查看码表的详情信息。 21600 240 查看码表字段值 查看码表字段值。 21600 240 编辑码表字段值 编辑码表字段值。 10800 120 流程架构接口 表7 流程架构接口 API 说明 API流量限制(次/min) 用户流量限制(次/min)
开发”模块,进入数据开发页面。 创建一个DWS SQL脚本,以通过DWS SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”,从movies_item和ratings_item表中计算出评分最高的Top10电影,将结果存放到top_rating_movie表。
于一次全量写入场景。 微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时,使用微批模式呈现此参数。
面进行选择,这里不再赘述。配置完成后单击“确定”。 已被绑定脱敏算法的分类规则不支持被重复绑定。 图1 新建脱敏 适配脱敏算法后,支持用户在线进行测试。输入测试数据,单击“测试”,在测试结果文本框中进行验证。 开启或关闭状态,只有启用状态下的脱敏策略才可生效。 查看数据脱敏效果 在DataArts
创建一个新连接。 - - 查询连接列表(待下线) 查询连接列表。 - - 查询连接详情(待下线) 查询指定连接的配置详情。 - - 修改连接(待下线) 编辑修改连接的配置。 - - 删除连接(待下线) 删除一个连接。 - - 导出连接(待下线) 导出zip压缩包格式的连接文件,包括所有连接的定义。
单击“导入”,选择JSON格式的文件导入或文本导入。 文件导入:待导入的作业文件必须为JSON格式(大小不超过1M)。如果待导入的作业文件是之前从CDM中导出的,则导入前必须先编辑JSON文件,将“Add password here”替换为对应连接的正确密码,再执行导入操作。 文本导入:无法正确上传本地JSON文件时
脚本开发”,选择“新建DLI SQL脚本”。 进入SQL脚本开发页面,在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。 图1 脚本属性 在脚本编辑器中输入以下SQL语句。 INSERT OVERWRITE TABLE trade_report SELECT sum(trade_count)
15:15:46”,则CDM作业会执行失败,日志提示无法解析日期格式。需要通过CDM配置字段转换器,将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业,进入作业的字段映射步骤,在源端的时间格式字段后面,选择新建转换器,如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”,目前
lue”字段获取JSON消息体的内容。 图2 JSON消息体内容 将获取到的消息体内容复制到CDM作业消息体里面,可以对JSON消息体进行编辑。 单击“保存”。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。