为JUnit测试提供高效的对象存储

      从PostgreSQL下载一个相对较大的二进制数据文件的问题。在存储和获取这些数据方面有几个限制（所有的限制都可以在官方文档中找到）。为了解决这个问题，有人建议找到更合适的数据存储。由于一些内部原因，众所周知的Amazon S3桶被选为这个目的。这个选择影响了项目的单元测试基础。仍然不可能继续使用轻量级的数据库，如HSQL或H2来实现测试。这是一个关键问题，我们将在这篇文章中尝试解决.

对象存储构建
      保持集成测试活力的一个可能的解决方案是实现一些模拟的对象存储，与S3 bucket客户端完全兼容，另一方面，我们可以使用已经存在的这种类型的对象存储。MinIO是一个很好的例子，它相当简单，但高性能的对象存储，同时与Amazon S3兼容（至少在文档中是这样写的）。

     为了将MinIO集成到我们的集成测试中，我们将使用一个用Java编写的强大的Testcontainers库。Testcontainers是一个特殊的库，它支持JUnit测试，并提供轻量级的、可抛弃的普通数据库、Selenium网络浏览器和其他任何可以在Docker容器中运行的实例。要开始使用这个神奇的库，只需要有Docker并在我们的pom.xml中添加以下依赖：

<dependency>
     <groupId>org.testcontainers</groupId>
     <artifactId>testcontainers</artifactId>
     <version>1.12.3</version>
     <scope>test</scope>
</dependency>

     不幸的是，我们的目标没有合适的容器，但该库提供了所有必要的工具，可以自己轻松地创建它。幸运的是，在DockerHub上有一个MinIO的官方docker镜像。为了创建一个自己的MinIO容器，有必要用自定义数据扩展GenericContainer。DEFAULT_PORT（MonIO文档建议使用9000端口），DEFAULT_IMAGE（镜像名称），DEFAULT_TAG（镜像版本）。 要注意标签的分配! 在我们的例子中，使用了 "edge "标签来支持最后部署的MinIO版本，但在大多数情况下，最好固定标签并不时地手动更新，以避免不可预知的测试崩溃。我们也强烈建议提供凭证（访问密钥、秘密密钥）来控制对容器的访问。下面是一个实现自定义MinIO容器的例子：

public class MinioContainer extends GenericContainer<MinioContainer> {

    private static final int DEFAULT_PORT = 9000;
    private static final String DEFAULT_IMAGE = "minio/minio";
    private static final String DEFAULT_TAG = "edge";

    private static final String MINIO_ACCESS_KEY = "MINIO_ACCESS_KEY";
    private static final String MINIO_SECRET_KEY = "MINIO_SECRET_KEY";

    private static final String DEFAULT_STORAGE_DIRECTORY = "/data";
    private static final String HEALTH_ENDPOINT = "/minio/health/ready";

    public MinioContainer(CredentialsProvider credentials) {
        this(DEFAULT_IMAGE + ":" + DEFAULT_TAG, credentials);
    }

    public MinioContainer(String image, CredentialsProvider credentials) {
        super(image == null ? DEFAULT_IMAGE + ":" + DEFAULT_TAG : image);
        withNetworkAliases("minio-" + Base58.randomString(6));
        addExposedPort(DEFAULT_PORT);
        if (credentials != null) {
            withEnv(MINIO_ACCESS_KEY, credentials.getAccessKey());
            withEnv(MINIO_SECRET_KEY, credentials.getSecretKey());
        }
        withCommand("server", DEFAULT_STORAGE_DIRECTORY);
        setWaitStrategy(new HttpWaitStrategy()
                .forPort(DEFAULT_PORT)
                .forPath(HEALTH_ENDPOINT)
                .withStartupTimeout(Duration.ofMinutes(2)));
    }

    public String getHostAddress() {
        return getContainerIpAddress() + ":" + getMappedPort(DEFAULT_PORT);
    }

    public static class CredentialsProvider {
        private String accessKey;
        private String secretKey;
        public CredentialsProvider(String accessKey, String secretKey) {
            this.accessKey = accessKey;
            this.secretKey = secretKey;
        }

        public String getAccessKey() {
            return accessKey;
        }

        public String getSecretKey() {
            return secretKey;
        }
    }
}

测试
由于我们有一个合适的测试容器，可以作为Amazon S3桶对象存储的提供者，现在是时候用它来展示一个简单的JUnit测试的例子。当然，首先我们需要配置S3客户端来与我们的容器进行交互。在我们的案例中，我们使用原始的AmazonS3Client。因此，为了实现我们的单元测试，我们需要添加一个额外的依赖:

<dependency>
     <groupId>com.amazonaws</groupId>
     <artifactId>aws-java-sdk-s3</artifactId>
     <version>1.11.60</version>
</dependency>
<dependency>
     <groupId>com.amazonaws</groupId>
     <artifactId>aws-java-sdk</artifactId>
     <version>1.11.60</version>
</dependency>

这里是一个普通的测试，用于创建一个具有指定名称的S3桶:

public class MinioContainerTest {

    private static final String ACCESS_KEY = "accessKey";
    private static final String SECRET_KEY = "secretKey";
    private static final String BUCKET = "bucket";

    private AmazonS3Client client = null;

    @After
    public void shutDown() {
        if (client != null) {
            client.shutdown();
            client = null;
        }
    }

    @Test
    public void testCreateBucket() {
        try (MinioContainer container = new MinioContainer(
                new MinioContainer.CredentialsProvider(ACCESS_KEY, SECRET_KEY))) {

            container.start();
            client = getClient(container);
            Bucket bucket = client.createBucket(BUCKET);
            assertNotNull(bucket);
            assertEquals(BUCKET, bucket.getName());

            List<Bucket> buckets = client.listBuckets();
            assertNotNull(buckets);
            assertEquals(1, buckets.size());
            assertTrue(buckets.stream()
                    .map(Bucket::getName)
                    .collect(Collectors.toList())
                    .contains(BUCKET));
        }
    }

    private AmazonS3Client getClient(MinioContainer container) {
        S3ClientOptions clientOptions = S3ClientOptions
                .builder()
                .setPathStyleAccess(true)
                .build();

        client = new AmazonS3Client(new AWSStaticCredentialsProvider(
                new BasicAWSCredentials(ACCESS_KEY, SECRET_KEY)));
        client.setEndpoint("http://" + container.getHostAddress());
        client.setS3ClientOptions(clientOptions);
        return client;
    }
}

结论

  以上仅适用于基于Junit的集成测试场景，自动化部署Mino用于集成测试依赖。单元测试场景我们更多推荐是隔离外部依赖。 

---

今天先到这儿，希望对云原生，技术领导力， 企业管理，系统架构设计与评估，团队管理, 项目管理, 产品管管，团队建设 有参考作用 , 您可能感兴趣的文章:
领导人怎样带领好团队
构建创业公司突击小团队
国际化环境下系统架构演化
微服务架构设计
视频直播平台的系统架构演化
微服务与Docker介绍
Docker与CI持续集成/CD
互联网电商购物车架构演变案例
互联网业务场景下消息队列架构
互联网高效研发团队管理演进之一
消息系统架构设计演进
互联网电商搜索架构演化之一
企业信息化与软件工程的迷思
企业项目化管理介绍
软件项目成功之要素
人际沟通风格介绍一
精益IT组织与分享式领导
学习型组织与企业
企业创新文化与等级观念
组织目标与个人目标
初创公司人才招聘与管理
人才公司环境与企业文化
企业文化、团队文化与知识共享
高效能的团队建设
项目管理沟通计划
构建高效的研发与自动化运维
某大型电商云平台实践
互联网数据库架构设计思路
IT基础架构规划方案一(网络系统规划)
餐饮行业解决方案之客户分析流程
餐饮行业解决方案之采购战略制定与实施流程
餐饮行业解决方案之业务设计流程
供应链需求调研CheckList
企业应用之性能实时度量系统演变

如有想了解更多软件设计与架构, 系统IT,企业信息化, 团队管理 资讯，请关注我的微信订阅号：

作者：Petter Liu
出处：http://www.cnblogs.com/wintersun/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。 该文章也同时发布在我的独立博客中-Petter Liu Blog。