检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”、“集群控制台地址”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"src/main/resources"的目录下。
从6和7回显中获取分区的分布信息和节点信息，在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例，迁移到“/srv/BigData/hadoop/data1/kafka-logs”，完成迁移所需的json配置文件，内容如下。 {"partitions":[{"topic":
压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。 日志归档规则： 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志
表和视图的权限，不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多，在授权时可能需要等待一段时间。例如表的文件数量为1万时，可能需要等待2分钟。 表1 设置角色 任务场景 角色授权操作 设置Hive管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
S中的数据，需执行以下操作。 登录华为云管理控制台，在“控制台”页面，鼠标移动至右上方的用户名，在下拉列表中选择“我的凭证”。 单击“访问密钥”页签，单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载访问密钥。 在.csv文件中获取创建Catalog所需的AWS_A
使用Hue WebUI操作Hive表 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 Hue常用配置参数
使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 配置BulkloadTool工具支持解析自定义分隔符 父主题： HBase企业级能力增强
er settings file”的值为当前“settings.xml”文件放置目录，确保该目录为“<本地Maven安装目录>\conf\settings.xml”。 图28 “settings.xml”文件放置目录 单击“Maven home directory”右侧的下拉菜单，选择Maven的安装路径。
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和drive
表的log文件中，也可以基于状态后端生成Hudi的changelog数据。 优点：可以基于湖存储实现更新数据聚合一致性保证。 缺点： Hudi的MOR表中仅在log文件中存在changelog数据，如果Flink作业计算延迟导致上游数据积压，而Hudi又清理了log文件，就会导致
用户名。 keytab认证：keytab文件包含了用户principal和用户凭据的加密信息。使用keytab文件认证时，系统自动使用加密的凭据信息进行认证无需输入用户密码。主要在组件应用开发场景中使用“机机”用户进行认证。keytab文件也支持在kinit命令中使用。 普通模式
API使用样例 Kafka 多线程Consumer API 使用样例 Kafka SimpleConsumer API使用样例 Kafka 样例工程配置文件说明 父主题： Kafka开发指南
<arg> [-sr] -tb <arg> --jars用于指定“protobuf-java-2.5.0.jar”文件所在路径和HBase客户端配置文件所在路径。HBase客户端配置文件所在路径为“客户端安装目录/HBase/hbase/conf”。 支持在提交命令中指定executor数
WebUI使用HiveQL编辑器 在Hue WebUI使用SparkSql编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 在Hue WebUI使用HBase 父主题： 使用Hue（MRS 3.x及之后版本）
选择“HiveServer（角色） > 自定义”，对参数文件“hive-site.xml”添加自定义参数，设置“名称”为“hive.restrict.create.grant.external.table”，“值”为“true”。 选择“MetaStore（角色） > 自定义”，对参数文件“hivemetastore-site
更新字段名 需要更新的字段 string 是 无 操作符 操作符，支持“+”、“-”和“=” enum 是 + 更新值 用来更新的值 与字段类型相匹配 否 无 条件逻辑连接符 配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息： 输
e/conf/hbase-site.xml”配置文件中配置如下参数。 表1 HBase客户端操作重试超时相关配置 配置参数 描述 默认值 hbase.client.operation.timeout 客户端操作超时时间。需在配置文件中手动添加。 2147483647 ms hbase
是否支持客户端跨网段访问 使用前提 HSFabric 是 是 是 确保业务侧和HetuEngine服务端HSFabric所在业务节点网络互通 适用于双平面的网络场景 只需对外开放HSFabric固定的IP，端口 支持范围：MRS 3.1.3及之后版本 HSBroker 是 否 否 确保业务侧和HetuE
更新字段名 需要更新的字段 string 是 无 操作符 操作符，支持“+”、“-”和“=” enum 是 + 更新值 用来更新的值 与字段类型相匹配 否 无 条件逻辑连接符 配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息： 输
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
