检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HSFabric 提供跨域(DC)高性能安全数据传输。 引擎层 Coordinator HetuEngine计算实例的管理节点,提供SQL接收、SQL解析、生成执行计划、执行计划优化、分派任务和资源调度等能力。 Worker HetuEngine计算实例的工作节点,提供数据源数据并行拉取,分布式SQL计算等能力。
xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei.hadoop.datasight.io.compress
按“天”。 目的端NameService名称:修改备集群的NameService名称。 目的端NameNode IP地址:修改备集群NameNode业务平面IP地址,支持主节点或备节点。 目的端路径:修改备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照或
UI五种方式,可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
UI五种方式,可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
API、WEB UI五种方式,可参考常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
聚合函数时执行查询语法报错的问题。 解决DataArts Studio API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。
mm”。 查看是否存在紧急补丁的目录,比如MRSxxx或者xxxpatch。 是,需要详细评估紧急补丁的兼容性。 否,检查结束。 补丁下载地址 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud
xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei.hadoop.datasight.io.compress
der的输出字段名和SparkSQL表中的字段名保持一致。 Hive 1.2.0版本之后,Hive使用字段名称替代字段序号对ORC文件进行解析,因此,Loader的输出字段名和SparkSQL表中的字段名需要保持一致。 enum 是 CSV Spark文件压缩格式 在下拉菜单中选
${HOME}/.ssh/id_rsa.pub oms_ip:${HOME}/.ssh/id_rsa.pub_bak oms_ip表示主管理节点的IP地址。 根据提示输入omm用户密码完成文件复制。 以omm用户登录到主管理节点。 执行以下命令,防止超时退出: TMOUT=0 执行以下命令,切换目录:
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.multi-join-enabled”为“true”开启MultiJoin算子功能,可参考如何创建FlinkServer作业。 SQL示例: CREATE TABLE datagen1 ( id int, f1 int,
下的“iotdb-example.properties”文件: jdbc_url=jdbc:iotdb://IoTDBServer实例IP地址:IoTDBServer RPC端口 # 进行认证的用户名 username=developuser # 进行认证的用户密码,该密码建议密文存放,使用时解密,确保安全。
时间,24小时制(hh:mm:ss) %U 周(00 .. 53), 星期天是一周的第一天 %u 周(00 .. 53), 星期一是一周的第一天 %V 周(01 .. 53),星期天是一周的第一天,与%X配合使用 %v 星期(01 .. 53), 第一条为星期一,与%X配合使用 %W 周几(Sunday
根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本章节场景对应示例为“hdfs-example-security”样例,获取地址:https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.2.0
击。 所以在普通模式下,建议单用户场景下使用,必须通过严格限定网络访问权限来保障集群的安全。 尽量将业务应用程序部署在同VPC和子网下的ECS中,避免通过外网访问MRS集群。 配置严格限制访问范围的安全组规则,禁止对MRS集群的入方向端口配置允许Any或0.0.0.0的访问规则。
其中,各参数的含义如下: $Sqoop_Home:Sqoop的安装目录。 <driver_type>:数据库驱动类型。 <ip>:源集群数据库的IP地址。 <port>:源集群数据库的端口号。 <table_name>:待导出的表名称。 <user>:用户名。 <passwd>:用户密码。
RegionServer以Ephemeral node的方式注册到ZooKeeper中。其中ZooKeeper存储HBase的如下信息:HBase元数据、HMaster地址。 HMaster通过ZooKeeper随时感知各个RegionServer的健康状况,以便进行控制管理。 HBase也可以部署多个HMaster,类似HDFS
请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 组件版本 集群安装各组件的版本信息。 委托 通过绑定委托,ECS或BMS云服务将有权限来管理您的部分资源。 父主题: 查看MRS集群日志
求Loader的输出字段名和Hive表中的字段名保持一致。 Hive 1.2.0版本之后,Hive使用字段名称替代字段序号对ORC文件进行解析,因此,Loader的输出字段名和Hive表中的字段名需要保持一致。 enum 是 CSV Hive文件压缩格式 在下拉菜单中选择Hive