检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在管理中心页面,单击“数据连接”,进入数据连接页面并单击“创建数据连接”。 参见表1配
查看增量包”,查看已购买的增量包。 您可以在DataArts Studio实例卡片上,通过“更多 > 配额使用量”,查看当前实例的配额使用量。也支持可以在空间管理处,通过对应空间的“操作 > 配额使用量”,查看每个工作空间的配额使用量。 设置配额使用量阈值告警 购买规格增量包前,您可以设置配额使用量
用以成本法入表,据此构成数据资源的初始资产价格。 系统建设是数据资产入表的前置条件。企业需要完成基础信息化建设,并对企业数据治理程度和数据管理能力做必要评估。此外还需进行数据资产入表前改造工作,主要涉及数据分类分级工具准备、数据成本计量工具准备、财务系统准备等。 企业在梳理确认好
高优先级。 Flink作业资源包 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统
面积。 图3 新建衍生指标基本信息2 衍生指标创建完成后,如下图所示: 管理衍生指标 进入数据指标的“技术开发 > 衍生指标”页面,您可以对衍生指标进行编辑、发布、下线、查看发布历史或删除操作。 图4 管理衍生指标 在数据指标控制台,单击左侧导航树中的“指标开发”,选择“衍生指标”页签,进入衍生指标页面。
Migration作业需要根据DRS的同步位点启动作业,做到数据的续传、不漏数。 请联系DRS运维人员获取到DRS任务同步的安全位点(一个binlog文件名),联系MySQL数据库运维根据安全位点查询出当前DRS已同步binlog的时间戳,根据这个时间戳启动Migration作业。
该参数表示Spark程序依赖的资源包。 资源类型 是 OBS路径 DLI程序包 DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 分组设置 否 当“资源类型”选择“DLI程序包”时,才需要配置该参数。
通过标准进行数值比较,然后决定执行哪一个IF条件分支。 场景分析:由于HIVE SQL节点的Select语句执行结果为单字段的二维数组,因此为获取二维数组中的值,EL表达式#{Loop.dataArray[][]}或#{Loop.current[]}均可以实现,且当前只有For
通过StringUtil内嵌对象EL表达式分割二维数组结果,获取前一节点输出的字段值,输出结果类型为String。 本例中,MRS Hive SQL节点返回单字段二维数组,Kafka Client节点发送的数据定义为StringUtil内嵌对象EL表达式,通过此表达式即可分割二维数组,获取MRS Hive
数据服务API API管理接口 申请管理接口 消息管理接口 授权管理接口 服务目录管理接口 网关管理接口 应用管理接口 总览接口 集群管理接口
值记录在一个新文件中,新文件以“.md5”作为后缀,并且可以指定MD5值生成的目录。 文件格式的公共参数 启动作业标识文件 这个主要用于自动化场景中,CDM配置了定时任务,周期去读取源端文件,但此时源端的文件正在生成中,CDM此时读取会造成重复写入或者是读取失败。所以,可以在源端作业参数中指定启动作业标识文件为“ok
动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 获取项目ID和账号ID 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。
通过StringUtil内嵌对象EL表达式分割二维数组结果,获取前一节点输出的字段值,输出结果类型为String。 本例中,MRS Hive SQL节点返回单字段二维数组,Kafka Client节点发送的数据定义为StringUtil内嵌对象EL表达式,通过此表达式即可分割二维数组,获取MRS Hive
STRING - 数值 BOOLEAN BOOLEAN - TINYINT INT TINYINT(1)默认会转成BOOLEAN类型,可通过在管理中心MySQL数据连接中添加“连接属性”使其仍保持转成TINYINT(1):tinyInt1isBit = false。 TINYINT UNSIGNED
默认被当前用户锁定,详情参见编辑锁定功能。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发
值记录在一个新文件中,新文件以“.md5”作为后缀,并且可以指定MD5值生成的目录。 文件格式的公共参数 启动作业标识文件 这个主要用于自动化场景中,CDM配置了定时任务,周期去读取源端文件,但此时源端的文件正在生成中,CDM此时读取会造成重复写入或者是读取失败。所以,可以在源端作业参数中指定启动作业标识文件为“ok
Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 项目ID DLI服务所在区域的项目ID。 项目ID表示租户的资源,账号ID对应
文件可用于导入。导出主题设计信息的操作,请参见导出主题设计信息。 建立好主题设计信息后,可以对主题信息进行查找、编辑或删除操作。详情请参见管理主题设计。 主题设计概述 默认情况下,系统预设了“L1-主题域分组”、“L2-主题域”和“L3-业务对象”三层主题层级。 主题域分组:主题域分组是基于业务场景对主题域进行分组。
限;在管理员将策略配置好后,可删除此默认策略。 前提条件 已通过敏感数据识别任务,自动或手动将敏感数据同步到数据地图组件,详见发现敏感数据或查看敏感数据分布。 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创
Migration,后简称CDM)服务,本文中的“云数据迁移”、“CDM”均指“数据集成”。 您可以通过以下方式之一进入CDM主界面: 登录CDM控制台,单击“集群管理”,进入到CDM主界面。 登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块,进入CDM主界面。 云数据迁移简介