检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。 图1 选择Remote 选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如图2所示。 其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。
Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。 图1 选择Remote 选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如图2所示。 其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
Loader页面是基于开放源代码Sqoop WebUI的图形化数据迁移管理工具，由Hue WebUI承载。 MRS 3.x及以后版本集群，在Manager页面选择“集群 > 服务 > Hue > Hue WebUI > Hue (主机名称，主)”。 Loader页面是基于开放源代码Sqoop
报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错： 回答 调整Sqoop源码包中的代码，将timestamp强制转换类型和Hive保持一致。 将Hive中的字段类型修改为String。 父主题： Sqoop常见问题
Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。 图1 选择Remote 选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如图2所示。 其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。
Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。 图1 选择Remote 选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如图2所示。 其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。
Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”号，在下拉菜单中选择Remote，如图1所示。 图1 选择Remote 选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如图2所示。 其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
g类型，无法正常使用hive import导入，只能考虑使用hcatalog方式，但是hcatalog方式报错如下： 回答 修改sqoop源码SqoopHCatUtilities中的代码，将限制代码去掉。 修改hive客户端中的hive-site.xml文件，修改hive.metastore
Start页面） 选择需导入的样例工程存放路径，单击“OK”。 图9 Select File or Directory to Import 选择从已存在的源码创建工程，然后单击“Next”。 图10 Create project from existing sources 确认导入路径和名称，单击“Next”。
选择需导入的样例工程路径，然后单击“OK”。 图13 Select File or Directory to Import 选择从已存在的源码创建工程，然后单击“Next”。 图14 Create project from existing sources 确认导入路径和工程名称，单击“Next”。
用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 操作步骤 获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取代码样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site
选择需导入的样例工程路径，然后单击“OK”。 图13 Select File or Directory to Import 选择从已存在的源码创建工程，然后单击“Next”。 图14 Create project from existing sources 确认导入路径和工程名称，单击“Next”。
查询用户（组）与IAM委托的映射关系 功能介绍 获取用户（组）与IAM委托之间的映射关系的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见样例工程获取地址。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
