检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
入湖程序的并行度p设置：建议p = (dataSize)/128M，程序分配core的数量保持和p一致即可。内存设置建议内存大小和core的比例大于1.5:1 即一个core配1.5G内存， 堆外内存设置建议内存大小和core的比例大于0.5:1。 cow表： cow表的原理是重
主。 调用Hive的SpringBoot样例接口触发样例代码运行： Windows环境运行方式： 打开浏览器，输入：http://localhost:8080/hive/example/executesql。 Linux环境下执行运行方式： 在2中存放Jar的节点上执行curl
主。 调用Hive的SpringBoot样例接口触发样例代码运行： Windows环境运行方式： 打开浏览器，输入：http://localhost:8080/hive/example/executesql。 Linux环境下执行运行方式： 在2中存放Jar的节点上执行curl
检查Loader和依赖组件之间的网络连接。 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Loader”。 单击“实例”，显示LoaderServer实例列表。 记录“LoaderServer(主)”行的“管理IP”。 以omm用户通过21获取的IP地
当集群写入压力较大，不建议修改此配置。需要给常规Merge留出空闲线程，避免“Too manyparts parts”。 对于已存在的大表（数据量超亿级别），不要使用修改或新设置TTL的方式来实现数据老化能力，推荐使用定时任务“alter table table_name on cluster default_cluster
加Hudi表目录的路径授权，赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段，只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表，仅支持使用hive_sync.mode=jdbc，不支持hms方式。 Spark使
行。 管理查询语句 单击“保存的查询”。 单击一条已保存的语句，系统会自动将其填充至编辑区中。 修改在Hue使用编辑器的会话配置 在编辑器页面，单击 。 在“文件”的右侧单击 ，然后单击 选择文件。 可以单击“文件”后的 新增加一个文件资源。 在“功能” ，输入用户自定义的名称和函数的类名称。
当集群写入压力较大，不建议修改此配置。需要给常规Merge留出空闲线程，避免“Too manyparts parts”。 对于已存在的大表（数据量超亿级别），不要使用修改或新设置TTL的方式来实现数据老化能力，推荐使用定时任务“alter table table_name on cluster default_cluster
业。 命令参考（由添加作业时的“运行程序参数”与“执行程序参数”组成）：在原有的命令后，按“, {新参数}”的格式继续新增参数。 增加新的运行程序参数：新的命令参考是“运行程序参数, {新的运行程序参数}, 执行程序参数”。 增加新的执行程序参数：新的命令参考是“运行程序参数, 执行程序参数
3.1 若提示setuptools的47.3.1版本安装不成功，则需要检查环境是否有问题或是Python自身原因导致的。 客户端机器必须安装有jaydebeapi，可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装： pip安装： 在客户端节点执行pip
不支持嵌套创建多个索引，索引表仅用于加速查询，不承担数据表功能。 不支持创建可以被已有索引覆盖的索引 新建索引时，如果之前已存在的索引能够完全覆盖新建的索引（即创建的索引是已有索引的子集），则无法创建此索引，重复功能的索引会造成存储浪费。例如，以下操作将无法创建索引2： 创建数据表：create 't1'
通过数据应用，进行以下分析： 查看薪水支付币种为美元的雇员联系方式。 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载到新表中。 统计雇员信息共有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计
instant-time]; 参数描述 表1 COMPACTION参数 参数 描述 tableIdentifier 在其中执行删除操作的Hudi表的名称。 tablelocation Hudi表的存储路径。 instant-time 执行show compaction命令可以看到instant-time。
8192的整数倍，根据CPU内存资源大小调整 cleanup_delay_period 适当小于默认值 30 修改parts_to_throw_insert值 增大Too many parts的触发阈值，除非特殊场景，不建议修改此配置。此配置在一定程度起到潜在问题预警的作用，如果
回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令： cd /opt/{MRS补丁版本号}/client
es/apps/hive2/hive-site.xml”，配置方式参考使用Hue提交Oozie Hive2作业。 单击Oozie编辑器右上角的。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题： 使用Hue提交Oozie作业
1.0.3补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2
如果FusionInsight Manager创建的路由信息与企业网络规划配置的路由信息发生冲突时，集群管理员可以使用“autoroute.sh”工具禁用或启用Manager创建的路由信息。 修改MRS集群Manager路由表对系统的影响 禁用Manager创建的路由信息后，在设置新的路由信息之前，FusionInsight
正式编写脚本前，您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因为不同Region间有网络隔离，MRS虚拟机无法下载其他Region上的OBS文件。 脚本中如何从OBS文件系统下载文件。 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统，需要用hadoop
相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下MapReduce相关样例工程： 表1 MapReduce相关样例工程 样例工程位置 描述 mapreduce-example-security MapReduce统计数据的应用开发示例：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
