检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。
建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 linkConfig.properties 否 Map 属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值 父主题: 连接参数说明
表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。
D运行模式连接其中一个集群,其余需使用STANDALONE。 linkConfig.properties 否 Map 属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值 父主题: 连接参数说明
表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。
表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。
Secret)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。 IAM认证:将IAM认证方式的API授权给当前账号或其他账号后,借助从IAM服务获取的用户Token进行安全认证。支持通过API调用工具调用,安全级别中等。 无认证:不需要认证,所有用户均可访
通过数据开发使用参数传递灵活调度CDM作业 通过数据开发实现数据增量迁移 通过CDM节点批量创建分表迁移作业 06 SDK&API DataArts Studio软件开发工具包(SDK)是对DataArts Studio提供的REST API进行的Java,Python等封装,以简化用户的开发工作。 API文档
值,培育数据要素市场。 DSMM标准以组织的数据为中心,围绕数据的采集、传输、存储、处理、交换、销毁全生命周期,从组织建设、制度流程、技术工具、人员能力4个能力维度,按照1-5级成熟度,评价组织的数据安全能力。 图1 数据安全能力成熟度模型 父主题: 数据安全能力成熟度模型DSMM
择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 FusionInsight HDFS
择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 常见配置举例如下: connec
作,形成数据质量精细化管控文化。根据数据治理领导组的愿景和长期目标,建立和管理数据治理流程、阶段目标和计划,设计和维护数据治理方法、总则、工具和平台,协助各数据领域工作组实施数据治理工作,对整体数据治理工作进行度量和汇报,并对跨领域的数据治理问题和争议进行解决和决策。 各领域数据
Secret)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。 IAM认证:将IAM认证方式的API授权给当前账号或其他账号后,借助从IAM服务获取的用户Token进行安全认证。支持通过API调用工具调用,安全级别中等。 无认证:不需要认证,所有用户均可访
管理控制台,进入“集群管理”,在集群列表中找到所需要的集群。 按下F12,打开开发者调试工具,然后选择Network功能。 图1 选择Network 在DWS控制台中,单击待查看的DWS集群名称,进入集群“基本信息”页面。然后在开发者调试工具的Network请求中,寻找Name形如“clusters?ty
URI:配置为H公司HDFS文件系统的Namenode URI地址。 认证类型:安全模式Hadoop选择KERBEROS鉴权,通过获取客户端的principal和keytab文件进行认证。 Principal、Keytab文件:用于认证的账号Principal和keytab文件,可以联系Hadoop管理员获取。
系统建设是数据资产入表的前置条件。企业需要完成基础信息化建设,并对企业数据治理程度和数据管理能力做必要评估。此外还需进行数据资产入表前改造工作,主要涉及数据分类分级工具准备、数据成本计量工具准备、财务系统准备等。 企业在梳理确认好数据资产类型、类别和安全等级后,就可以进入到实施阶段:梳理数据资产构成成本,并对数据资源进行初始计量、后续计量等相关会计处理。
String 数据源的类型。 枚举值: MYSQL:MYSQL数据源 DLI:DLI数据源 DWS:DWS数据源 HIVE:HIVE数据源 HBASE:HBASE数据源 connection_name 否 String 数据连接名称。 connection_id 否 String 数据连接ID。
性能过慢处理方案 实时处理集成作业各链路如果速度过慢(查看作业监控指标速率不符合实时处理集成作业提供的性能规格),需要考虑以下几点: 目的端写入过慢。 源端抽取过慢。 其他问题(请联系技术支持人员协助解决)。 因为目的端写入过慢会影响至源端,导致源端抽取速度下降,因此链路速度过慢
台”,选择“数据地图”或对应工作空间的“数据目录”,进入数据地图或数据目录页面。 图1 选择数据地图或数据目录 按下F12,打开开发者调试工具,然后选择Network功能。 图2 选择Network 在数据地图的“首页”界面或“数据搜索”界面,或者在数据目录的“总览”界面或“数据
接输入。 通过工具自动生成JSON格式的消息:单击“生成JSON消息”,在弹出的对话框中填写“消息”和选择“协议”。 模板消息:按模板格式发送的消息,即固定格式的消息,可以通过tag的方式来处理变量的部分。 手动输入模板格式的消息:在“消息内容”直接输入。 通过工具自动生成模板格