检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。 端口 是 主机的SSH端口号。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent
API管理”页面,进入API管理页面。 勾选待同步的API所在行,在API列表上方,选择并单击“更多 > 同步至数据地图”。 图2 同步至数据地图 在同步结果页面,查看同步状态和详情,确认API同步结果。 图3 同步结果 仅已发布状态的API支持同步至数据地图。 仅以下数据源的API支持同步:DLI、DWS、HBase、Clickhouse。
仅当DWS集群guest_agent版本为8.2.1,或在8.2.1以上、9.0.0以下时,才支持细粒度认证。DWS集群guest_agent版本查看方法请参考查看DWS集群guest agent版本。 MRS Hive连接联通性测试约束如下: 仅当MRS Hive数据连接中的用户配置了代理权限后,才支持细粒度认证。
数据安全能力成熟度模型 数据安全能力成熟度模型(Data Security Capability Maturity Mode,简称DSMM)是依据《信息安全技术数据安全能力成熟度模型》国家标准和《数据安全能力建设实施指南V1.0》,对组织的数据安全开展能力评估。DSMM旨在标准先
Sign(r) r.headers["x-Authorization"] = r.headers["Authorization"] 访问API,查看访问结果。 1 2 3 resp = requests.request(r.method, r.scheme + "://" + r.host
string.Join(", ", req.Headers.GetValues("x-Authorization"))); 访问API,查看访问结果。 1 2 3 4 5 6 var writer = new StreamWriter(req.GetRequestStream());
设置每15分钟触发运行一次对账作业为例的配置。 单击“提交”,对账作业创建完成。 查看对账作业。 单击对应的对账作业操作列中的运行链接,运行对账作业后,自动跳转到运维管理页面。 单击结果&日志查看运行结果和运行日志,等待作业运行结束后,如下图所示。 结果分析 至此,完成了通过DataArts
选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。如果没有可用的CDM集群,请参考创建CDM集群进行创建。
单击“下一步”配置任务参数,迁移存量数据时,参数配置保持默认即可。 单击“保存并运行”,进入作业管理界面,查看作业执行进度和结果。 作业执行成功之后,单击作业后面的“历史记录”查看作业的写入行数、读取行数、写入字节、写入文件数和执行日志。 父主题: 使用CDM上传数据到OBS
基础操作符 EL表达式支持大部分Java提供的算术和逻辑操作符。 操作符列表 表1 基础操作符 操作符 描述 . 访问一个Bean属性或者一个映射条目 [] 访问一个数组或者链表的元素 () 组织一个子表达式以改变优先级 + 加 - 减或负 * 乘 / 或 div 除 % 或 mod
用作业节点名称同步变化禁用该功能。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
数据资产入表 积极拥抱数据资产入表新时代 数据资产入表三步走 华为联合亿信华辰提供数据入表全方位助力 父主题: 数据治理解决方案
维管理模块。 待质量作业运行成功后,单击左侧导航菜单的“质量报告” 默认展示技术报告,如下图所示。 图1 技术报告 单击“业务报告”页签,查看业务报告,如下图所示。 图2 业务报告 父主题: 使用教程
创建数据标准模板 功能介绍 创建当前工作空间下的数据标准模板自定义项。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/standards/templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id
修改数据标准模板 功能介绍 修改数据标准模板。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/standards/templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
构、数据质量、数据目录等无法使用此连接。 在数据开发组件不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。特别的,仅当连接MRS 3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器
} ] } 其他参数保持不变,单击“保存并运行”。 作业完成后,查询DWS表中的数据是否和HBase中的数据匹配。如果不匹配,请检查JSON文件中HBase和DWS字段的顺序是否一致。 父主题: 数据集成(CDM作业)
这个参数是针对数据库导出到CSV文件的场景,如果一张表的数据量比较大,那么导出到CSV文件的时候,会生成一个很大的文件,有时会不方便下载或查看。这时可以在目的端指定该参数,这样会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。 JSON格式
这个参数是针对数据库导出到CSV文件的场景,如果一张表的数据量比较大,那么导出到CSV文件的时候,会生成一个很大的文件,有时会不方便下载或查看。这时可以在目的端指定该参数,这样会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。 JSON格式
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输