检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CLICKHOUSE_0_3_1:适用于连接ClickHouse 20.7以下版本,此驱动版本不支持多IP连接数据库服务器。 CLICKHOUSE_0_4_2:适用于连接ClickHouse 20.7及以上版本,支持多IP连接数据库服务器。 说明: 选择CLICKHOUSE_0_4_2驱动版本时,支持的timesta
T等,遵循resultful风格。 GET:请求服务器返回指定资源,推荐使用GET请求。 POST:请求服务器新增资源或执行特殊操作。POST请求当前不支持body体,而是直接透传。 描述 对API进行简要描述。 标签 对API设置标签。用于标记当前API的属性,创建后可以通过标
新冠疫情数据治理思考 中共中央政治局常务委员会2020年2月3日召开会议强调:这次疫情是对我国治理体系和能力的一次大考。全民抗疫的过程中,缺乏有效数据支持就是缺乏对于疫情的快速响应机制、缺乏对于医疗资源合理调配的能力。 通过数据治理,我们可以构建开放通用的数据采集接口,提高数据采
方式的API支持的调用方式也有所不同,详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 (推荐)APP认证 高 通过APP应用将API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证。
数据架构支持哪些数据建模方法? 问题描述 数据架构的数据建模方法有哪些。 解决方案 DataArts Studio数据架构支持的建模方法有以下三种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
设置作业标签 功能介绍 此接口可以设置作业标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/jobs/{job_name}/tags 参数说明 表1 URI参数说明 参数名
ava-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建RDS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 >
ip用“,”分隔。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Ranger > 实例”,可查看RangerAdmin角色对应的管理IP地址。 端口 是 MRS Ranger组件的实例端口号。 获取方法: 登录MRS FusionInsight
String 项目编号,获取方法请参见项目ID和账号ID。 connection_name 是 String 连接名称 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Lon
脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中,便于用户查看。并支持设置脏数据比例阈值,来决定任务是否成功。 CDM迁移原理 用户使用CDM服务时,CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest
前提:您需要具备MRS集群,且集群有Kafka组件。 方法:选择Kafka Client节点,将EL表达式直接写在要发送的数据中,单击“测试运行”,然后在节点上右键查看日志,日志中会把EL表达式的值打印出来。 使用Shell节点。 前提:您需要具备弹性云服务器ECS。 方法:创建一个主机连接,将EL表达
Manager页面。 在Manager页面的“系统设置”中,单击“密码策略配置”,修改密码策略。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中,单击“用户管理”,在用户管理页面,
通过SDK调用API前,需要获取如下认证信息: 访问服务前,首先需要得到API的ID、请求URL和请求方法 在数据服务的“API目录”页面,单击API名称,在“完整信息”页面查看API的ID、请求URL和请求方法。 图1 API基础定义 对于APP认证的API,您必须提供有效的AppKey、AppSecret才能够生成认证签名。
个ip用“,”分隔。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Doris > 实例”,获取FE角色的管理IP。 端口 是 Doris FE通过mysql协议查询连接端口。 MRS Doris获取方法: 登录MRS FusionInsight
ava-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 >
否 选择输出数据存储的路径。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试