检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象存储服务OBS MRS Hudi组件（MRS Hudi作为一种数据格式，元数据存放在Hive中，操作通过Spark进行。在Hudi表开启“同步hive表配置”后，可通过采集MRS Hive元数据的方式采集Hudi表的元数据） 详情请参见支持的数据源。 父主题： 数据目录
程。 图1 数据开发模块架构 数据开发的主要功能 表1 数据开发的主要功能 支持的功能 说明 数据管理 支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器，支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。
7fe2074421e473b88cdb7752ab { "name" : "OpenAPI_HIVE_test", "datasource_type" : "HIVE", "cluster_id" : "dc425074-26b3-479c-9e2f-b103c0cdd90f"
错误描述。 请求示例 创建HIVE数据源的动态脱敏策略 /v1/0833a5737480d53b2f25c010dc1a7b88/security/masking/dynamic/policies { "name" : "OpenAPI_Hive_test", "datasource_type"
创建脚本 功能介绍 创建一个新脚本，当前支持的脚本类型有DLI SQL、Flink SQL、RDS SQL、Spark SQL、Hive SQL、DWS SQL、Shell、Presto SQL、ClickHouse SQL、HetuEngine SQL、Python、Spark
登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“Hive > HiveServer”。在配置项中，给参数“hive.security.authorization.sqlstd.confwhitelist”添加配置项值“mapreduce
联通性测试成功后，在细粒度认证状态列，根据所需选择启用开发态或调度态的细粒度认证，然后单击下方的“提交”，即可开启细粒度认证。 图2 开启细粒度认证 参考：为MRS数据连接用户配置代理权限 用户在DataArts Studio上通过MRS Hive或Spark数据连接访问数据源时，默认使用
如何调用API 构造请求 认证鉴权 返回结果
Presto、MRS Hive、MRS Spark、MRS ClickHouse等数据源，您可以在数据开发组件执行对应类型的统计表行数的SQL脚本，来查看表行数。 select count(*) from tablename 对于DWS、DLI、RDS、MRS Hive、MRS Spa
如果元数据来源为新建元数据，单击输入框中的，进入新建元数据的界面，分别选择MRS Hive中的点表和边表，并填写元数据输出的OBS路径，单击生成元数据，系统会自动生成xml格式的元数据文件并回填到OBS路径。 其中MRS Hive中的点表和边表，即为按GES图数据格式要求标准化后的边数据集和点数
HBase，MRS Hive。 FusionInsight集群：FusionInsight HDFS，FusionInsight HBase，FusionInsight Hive。 Apache集群：Apache HDFS，Apache HBase，Apache Hive。 操作场景
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ DWS数据连接开启SSL时测试连接失败怎么办？ 一个空间可以创建同一数据源的多个连接吗？ 连接方式应该选择API连接还是代理连接？ 如何将一个
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
在连接管理页签中，单击“新建连接”，创建DWS数据连接，参数说明请参见配置DWS连接。 图2 配置DWS连接 同上述步骤，创建MRS Hive数据连接，参数说明请参见配置MRS Hive连接。 图3 配置MRS Hive连接 创建并执行数据迁移作业 登录DataArts Studio控制台，单击相应工作空间后的“数据集成”。
Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候，此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时，连接Hive时需要使用LDAP账号与密码进行认证，此时必须开启此参数，否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时，此参数是必选项。
配置方式生成API 本节介绍如何通过配置方式生成API。 使用配置方式生成数据API简单且容易上手，您不需编写任何代码，通过产品界面进行勾选配置即可快速生成API。推荐对API功能的要求不高或者无代码开发经验的用户使用。 前提条件 已在“管理中心 > 数据连接”页面，完成数据源的配置。
MapReduce服务（MRS Hive） MapReduce服务（MRS Hive） 使用源端MRS Hive所在的MRS集群 MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 数据仓库服务（DWS） 使用MRS Hive所在的MRS集群
执行脚本 功能介绍 该接口用以执行指定脚本，支持执行DWS SQL、DLI SQL、RDS SQL、Hive SQL、Spark SQL、Presto SQL、Shell、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala
有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET, CARBON类型。
is not running or pause怎么办？ 如何创建数据库和数据表，数据库对应的是不是数据连接? 为什么执行完HIVE任务什么结果都不显示？ 在作业监控页面里的“上次实例状态”只有运行成功、运行失败，这是为什么？ 如何创建通知配置对全量作业都进行结果监控？ 数据开发的并行执行节点数是多少？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
