检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive的出租车出行的数据治理流程 MRS Hive 企业版 数据集成+数据开发+数据治理 需求全功能数据治理能力,适用于有完善的数据管理团队和体系,要进行企业信息架构、数据标准、数据模型、数据指标的落地,匹配完整的DAYU数据治理方法论。
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
调用工具调用,安全级别中等。 无认证:不需要认证,所有用户均可访问,建议仅在测试接口时使用,不推荐正式使用。使用无认证方式时,无需鉴权认证信息,安全级别低,通过API调用工具或浏览器即可直接调用。 父主题: 数据服务SDK参考
在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取,接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可参考IAM文档获取。
登录数据服务专享版页面,选择集群,选择日志转储,选择LTS云服务日志。 图2 LTS转储 查看访问日志 当您配置了访问日志,可以查看访问日志的详细信息。 通过“云日志服务”控制台,进入日志主题界面,选择相应日志主题名称,在“原始日志”页签下,可查看访问日志。 日志显示格式如下,不支持修改日志格式。
格式转换,以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。 结果集映射 是 针对工作流中查询到的所有普通API结果集,支持对一个或多个节点的结果集名
RS ClickHouse的值会为0。 请确认目的端表引擎是否为ReplicatedMergeTree引擎,该引擎自带去重机制,且去重数据不能准确预测,选用该引擎应保证数据唯一性,否则会造成不唯一数据被忽略写入,或尝试替换其他表引擎,例如MergeTree。 表1 MRS ClickHouse作为目的端时的作业参数
同步状态 UNKNOWN 未知 NOT_SYNC 未同步 SYNCING 同步中 SYNC_SUCCESS 同步成功 SYNC_FAIL 同步失败 sync_msg String 同步日志。 sync_time Long 同步时间。 create_time Long 创建时间。 create_user
区,该策略可以保证消息顺序。 按轮询模式投递到不同的Partition:采用Kafka粘性分区策略均匀的投递到目的端主题的所有分区,该策略无法保证消息顺序。 全部投递到Partition 0。 新建Topic的Partition数量:设置新建Topic的Partition数量,默认为3。
参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 无 响应示例 无 状态码 状态码 描述 200 Success 500 INTERNAL SERVER ERROR 父主题:
接“mrs_hive_link”,以及选中“Table”,将显示符合条件的所有的表。 图7 技术资产 单击所需要的元数据名称,即可查看详情信息。 图8 元数据详情 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
Array of objects 资产分类facets维度信息列表,数据结构List<Map<String, List<Aggregation>>> 取值为count。 metrics Object 资产分类metrics维度信息列表,数据结构List<Map<String, List<Aggregation>>>
参数类型 描述 entity Entity object 资产信息。 referred_entities Object 关联资产信息,结构体Map<String, Entity>。key:资产guid,value:资产信息。 表5 Entity 参数 参数类型 描述 version
参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 无 响应示例 无 状态码 状态码 描述 204 Success 500 INTERNAL SERVER ERROR 父主题:
描述 type 否 String 队列类型,MRS、DLI。 cluster_id 否 String 集群ID,获取方法请参见查询单个数据连接信息。 limit 否 Integer 每页显示的条目数量。 offset 否 Integer 偏移量,表示从此偏移量开始查询,该值大于等于0。
中“资产”一项,在财务报表中体现其真实价值与业务贡献。 数据资产入表后,可以准确计量数据资源价值,同时为财报使用者提供更直观的数据资产相关信息,有助于投资者对企业进行更好的估值;可以改善企业财务报表,进而降低资产负债率,提升利润率;数据入表后可以通过数据交易为企业增值,并促进数据资产开发的相关投入。
对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云
schedule_config 是 SchedulerInfo object 调度信息。 parameter_config 否 Array of CustomMetadata objects 自定义元数据信息。 update_time 否 String 修改时间。 user_name 否
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。