检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台 登录华为云控制台。 在控制台左上方,单击“服务列表”按钮,选择“数据治理中心”,进入DataArts Studio控制台。 购买DataArts
监控安全风险 DataArts Studio提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的DataArts Studio数据集成模块中的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。
数据目录 数据目录组件有什么用? 数据目录支持采集哪些对象的资产? 什么是数据血缘关系? 数据目录如何可视化展示数据血缘?
华为数据治理案例 华为数据治理思考 华为数据治理实践 华为数据治理效果
查询服务目录 创建服务目录 批量删除目录 移动当前目录至新目录 批量移动API至新目录 通过路径获取ID 通过ID获取路径 通过目录ID获取路径对象 查询服务目录API列表 父主题: 数据服务API
图不存在”的提示,需要执行如下操作进行授权: 以root用户登录oracle节点。 执行如下命令,切换到oracle用户。 su oracle 执行如下命令,登录数据库。 sqlplus /nolog 执行如下命令,登录sys用户 connect sys as sysdba; 输入sys用户的密码。
目的端为Hive JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
目的端为HBase/CloudTable JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name":
目的端为Elasticsearch/云搜索服务 JSON样例 "to-config-values": { "configs": [ { "inputs": [
同步用户 配置空间资源权限 配置细粒度认证 配置队列权限 如需配置安全管理员,则需要以具有DAYU Administrator系统角色权限的账号登录数据安全总览页面,选择某个IAM子用户或者用户组(选择用户组时,则该用户组中的所有用户均为安全管理员)作为安全管理员。 配置安全管理员,必须由DAYU
Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限,否则会无法访问OBS并报“403
在操作日志处查看操作结果。 图3 操作日志 如果经过上述步骤,账号已同步。但还是提示MRS权限不足的话,则需要登录到Manger管理页面中创建一个与当前主账号同名的账号。 在步骤4中,需要创建一个与当前主账号同名的账号。 父主题: 数据质量
配置OBS目的端参数 配置SAP HANA目的端参数 配置ClickHouse目的端参数 配置Doris目的端参数 配置HBase 目的端参数 配置MongoDB目的端参数 配置MRS Kafka目的端参数 配置GBase目的端参数 配置Redis目的端参数 配置HDFS目的端参数
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 贸易数据极简上云与统计分析
failure cause on the MRS page”,可以登录MRS服务首页,在右侧导航栏中选择操作日志,查看问题原因。 若MRS操作日志中没有报错信息,则一般为IAM用户名与MRS已有人机用户名称冲突,导致同步失败。请登录MRS服务Manager界面,删除与IAM用户同名的人机用
int可从终端节点Endpoint获取。 - 访问标识(AK) 登录DIS服务器的访问标识。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 密钥(SK) 登录DIS服务器的密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 项目ID DIS的项目ID。
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数 配置Redis目的端参数
hdfs://192.168.2.3:9000 OBS OBS终端节点 OBS的Endpoint。 obs.cn-north-1.myhuaweicloud.com OBS桶 存放CDH一个月前历史数据的OBS桶。 cdm AK/SK 连接OBS的AK/SK。 - MRS Manager
注意,普通集群使用Manager页面的admin账号即可作为Ranger管理员账号,安全集群需要使用rangeradmin作为Ranger管理员账号,rangeradmin默认密码请参考用户账号一览表章节。 图6 登出当前账号 修改新建用户的Ranger角色为Admin。在“Settings
表2 条件表达式定义方法 算子 变量表达式 样例 入口API 获取入口API的请求参数的值:${节点编码|入参名} 说明: 当入参位置为Query、Header、Path或入参位置为Body的POST请求时,支持此表达式。 入口API的节点编码为EntryApi_3909f,入参