检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 更新管理 安全加固 MRS集群保留JDK说明
版本说明 MRS 3.1.2-LTS.3版本说明 MRS 3.1.5版本说明 MRS 3.2.0-LTS.1版本说明 父主题: 发行版本
Loader算子帮助 Loader算子说明 Loader输入类算子 Loader转换类算子 Loader输出类算子 管理Loader算子的字段配置信息 Loader算子配置项中使用宏定义 Loader算子数据处理规则 父主题: 使用Loader
Loader转换类算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: Loader算子帮助
Loader输出类算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题: Loader算子帮助
客户端工具说明 使用客户端运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
CarbonData数据分析 新建CarbonData表 删除CarbonData表 修改CarbonData表 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题: 使用CarbonData
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“emp
参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-kafka.py”和“insertData2kafka.sql”文件上传至客户端环境。
xml”,如果包含“<hadataprotocol value="ssl"></hadataprotocol>”,则已开启SSL。 操作步骤 以omm用户登录到需要还原的DBService节点。 执行以下命令恢复DBService的“hacom_local.xml”配置文件: cd $BIGD
启用block块异步删除特性之后,连续占有锁时间超过最大值时,临时释放锁的时间。单位:毫秒。 10 修改完成后保存配置。 单击“实例”页签,勾选所有配置过期的实例,选择“更多 > 重启实例”,根据界面提示进行重启。 父主题: HDFS性能调优
客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn,Spark访问HDFS的RPC通道。
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
Welcome back to webhdfs! MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群
“迁入节点主机名”与“迁出节点主机名”只能各填写一个主机名,不支持多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签,查看当前ClickHouseServer实例所在“主机名称”列获取。 “带宽上限”为可选参数,若不填写则为无上限,最大可设置为10000MB/s。 在选择迁
”,是否会影响上层业务? 图1 Hive服务状态 答: 集群中服务运行状态为“亚健康”表示服务部分增强功能无法正常工作。 在本示例场景中,登录Manager查看集群其它服务状态,发现HBase服务被停止。当HBase已安装且状态不正常时,Hive、Spark和Loader服务将处于“亚健康”状态。
被全部删除。在spark2.3版本中,增加了对未指定表达式的分区动态匹配的支持,此种语法与Hive的动态分区匹配语法行为一致。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数
“HTTP_ONLY”默认是勾选的。 操作步骤 登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http访问的,需要主NameNode的IP和http端口。 单击“实例”,找到“NameNode(hacluster
例如:如果该参数值为1,则表示无需等待最后一个Block状态变成COMPLETED即可关闭文件。 参数修改后保存配置。 在HDFS“实例”界面,勾选主备NameNode实例,选择“更多 > 滚动重启实例”,等待滚动重启完成生效。 父主题: HDFS企业级能力增强