Spring

[인프런/스프링 DB 1편] 2. 커넥션풀과 데이터소스

주니어주니 2023. 6. 19. 13:43

 

TCP/IP 
데이터를 전송하기 위한 통신규약 
TCP - 전송 제어 프로토콜 
IP - 인터넷 프로토콜 

 

 

1. 커넥션 풀 

 

1) 원래 커넥션 획득 방법 - 매번 획득 

 

1. 애플리케이션 로직이 DB 드라이버를 통해 커넥션 조회 

2. DB 드라이버는 DB와 TCP/IP 커넥션을 연결 ( 3 way handshake 같은 TCP/IP 연결을 위한 네트워크 동작 발생 )

3. DB 드라이버는 TCP/IP 커넥션이 연결되면, ID, PW와 기타 부가정보를 DB에 전달

4. DB는 ID, PW를 통해 내부 인증을 완료하고, 내부에 DB 세션 생성

5. DB는 커넥션 생성이 완료되었다는 응답을 보냄

6. DB 드라이버는 커넥션 객체를 생성해서 클라이언트에 반환

 

-> DB, 애플리케이션 로직에서 TCP/IP 커넥션을 새로 생성하기 위한 리소스를 매번 사용해야 함 

-> 고객이 애플리케이션 사용할 때, SQL을 실행하는 시간 + 커넥션 생성하는 시간 추가 

 

 

 

2) 커넥션 풀

 

  • 애플리케이션을 시작하는 시점에 필요한 만큼의 커넥션을 미리 확보에서 풀에 보관 (기본값은 보통 10개)

 

 

  • 커넥션 풀에 들어있는 커넥션은 TCP/IP 로 DB와 커넥션이 연결되어 있는 상태이기 때문에 언지든지 즉시 SQL을 DB에 전달할 수 있음 

 

 

  • 애필리케이션 로직에서는 DB 드라이버를 통해 커넥션 획득 X , 커넥션 풀을 통해 이미 생성되어 있는 커넥션을 객체 참조로 가져다 씀
  • 커넥션 풀에 커넥션 요청 -> 커넥션 풀은 자신이 가지고 있는 커넥션 중 하나 반환 

 

 

  • 애플리케이션 로직은 커넥션 풀에서 받은 커넥션을 사용해 SQL을 데이터베이스에 전달하고, 그 결과를 받아서 처리 
  • 커넥션을 사용하고 난 뒤 -> 다시 사용할 수 있도록 해당 커넥션을 커넥션 풀에 반환
    ( * 커넥션 종료 X , 살아있는 상태로 커넥션 풀에 반환 ! ) 

 

 

* 정리 

- 적잘한 커넥션 풀 개수는 애플리케이션 서버 스펙, DB 서버 스펙에 따라 다르기 때문에 성능 테스트를 통해 정함
- 커넥션 풀은 서버당 최대 커넥션 수를 제한할 수 있음 -> DB에 무한정 연결이 생성되는 것 방지 -> DB 보호
- 실무에서는 커넥션 풀을 기본으로 사용
- 커넥션 풀은 오픈소스를 사용함 -> 대부분 hikariCP 사용 

 

 


 

2. 데이터 소스 

 

2-1. DastaSource 이해

 

1) 커넥션 획득하는 방법 

  1. JDBC DriverManager -> 매번 신규 커넥션 생성
  2. 커넥션 풀에서 획득 
    • ~~~ 커넥션 풀
    • HikariCP 커넥션 풀

 

 

 

2) DataSource 인터페이스 - 커넥션 획득하는 방법을 추상화 

 

Connection connection = DriverManager.getConnection(URL, USERNAME, PASSWORD);

 

DriverManager를 통해 커넥션 획득 -> 커넥션 풀을 통해 커넥션 획득 으로 변경하려면 

커넥션을 획득하는 애플리케이션 코드도 변경해야 함 (의존관계가 DriverManager -> HikariCp로 변경되기 때문) 

 

 

=> DataSource 인터페이스 제공 

 

 

  • DataSource : 커넥션 획득하는 방법을 추상화하는 인터페이스 -> 핵심 기능은 커넥션 조회
public interface DataSource {
	Connection getConnection() throws SQLException;
}

 

* 정리 

- 대부분의 커넥션 풀DataSource 인터페이스를 이미 구현함 -> 개발자는 DataSource 인터페이스에만 의존하도록 애플리케이션 로직을 작성하면 됨 
- 커넥션 풀 구현 기술을 변경하고 싶으면 해당 구현체로 갈아끼우기만 하면 됨 

- DriverManagerDataSource 인터페이스를 사용 X -> DriverManager를 사용하다가 DataSource 기반의 커넥션 풀을 사용하도록 변경하려면 -> 코드를 다 고쳐야 함 
-> DriverManagerDataSource 라는 DataSource를 구현한 클래스 제공 -> DriverManager도 DataSource를 통해서 사용 가능

- DataSource를 통해 커넥션 획득하는 방법 추상화 -> 이제 DataSource 인터페이스에만 의존하면 됨

 


 

 

2-2. DriverManager 로 커넥션 획득 테스트

 

 

1) 기존의 DriverManager 를 통한 커넥션 획득 

@Slf4j
public class ConnectionTest {

    @Test
    void driverManager() throws SQLException {
        Connection con1 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        Connection con2 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        log.info("connection={}, class={}", con1, con1.getClass());
        log.info("connection={}, class={}", con2, con2.getClass());
    }

 

-> 커넥션 획득할 때마다 URL, USERNAME, PASSWORD 파라미터 전달

 

 

 

2) DataSource 인터페이스를 구현한 DriverManagerDataSource 를 통한 커넥션 획득 (스프링이 제공)

@Test
void dataSourceDriverManager() throws SQLException {
    // DriverManagerDataSource - 항상 새로운 커넥션 획득
    DriverManagerDataSource dataSource = new DriverManagerDataSource(URL, USERNAME, PASSWORD);
    useDataSource(dataSource);
}

private void useDataSource(DataSource dataSource) throws SQLException {
    Connection con1 = dataSource.getConnection();
    Connection con2 = dataSource.getConnection();
    log.info("connection={}, class={}", con1, con1.getClass());
    log.info("connection={}, class={}", con2, con2.getClass());
}

 

 

  •  DataSource 인터페이스를 구현한 DriverManagerDataSource
  • 처음 DriverManagerDataSource 객체를 생성할 때만 파라미터를 넘기고, 커넥션 획득할 때는 호출만
    -> 사용할 때는 URL, USERNAME, PASSWORD같은 속성에 의존하지 않아도 됨
    -> DataSource만 주입받아서 getConnection() 호출
    • 설정과 사용의 분리
      : 설정하는 부분과 사용하는 부분 분리 -> 유연한 대처 

 

 

 

2-3. 커넥션 풀 로 커넥션 획득

 

 

1) HikariCP 커넥션 풀을 사용한 커넥션 획득 

@Test
void dataSourceConnectionPool() throws SQLException, InterruptedException {
    // 커넥션 풀링
    HikariDataSource dataSource = new HikariDataSource();
    dataSource.setJdbcUrl(URL);
    dataSource.setUsername(USERNAME);
    dataSource.setPassword(PASSWORD);
    dataSource.setMaximumPoolSize(10);  // 디폴트
    dataSource.setPoolName("MyPool");

    useDataSource(dataSource);
    Thread.sleep(1000);     // 커넥션 풀에서 커넥션 생성 시간 대기
}

private void useDataSource(DataSource dataSource) throws SQLException {
    Connection con1 = dataSource.getConnection();
    Connection con2 = dataSource.getConnection();
    log.info("connection={}, class={}", con1, con1.getClass());
    log.info("connection={}, class={}", con2, con2.getClass());
}
  • HikariDataSource는 DataSource 인터페이스를 구현함
  • setMaximumPoolSize(10) : 커넥션 풀 최대 사이즈를 10으로 지정(10명의 요청을 동시에 처리)
  • Thread.sleep(1000) : 커넥션 풀에서 커넥션 획득할 때는 별도의 쓰레드에서 작동 -> 쓰레드 풀에 커넥션이 추가되는 것을 보기 위해 sleep을 1초 정도 지정

 

 

2) 실행 결과

 

* HikariConfig

  • 커넥션 풀 초기화 정보 (url, username, password, poolname, maximumPoolSize 등)

 

* MyPool connection adder 

  • main 쓰레드 외에 별도의 쓰레드 사용해서 커넥션 풀에 커넥션 채움
    • 커넥션 풀을 채울 때까지 기다리면 애플리케이션 실행 시간이 늦어짐 -> 별도의 쓰레드 사용

 

 

* 커넥션 풀에서 커넥션 획득

  • total=5, active=2, idle=3, waiting=0
    커넥션 풀에 5개 찼을 때, 커넥션 2개 사용, 대기중인 커넥션 3개

 

 


 

 

3. 애플리케이션에 DataSource 적용

 

 

0) MemberRepositoryV1 - DataSource 적용

package hello.jdbc.repository;

import hello.jdbc.domain.Member;
import lombok.extern.slf4j.Slf4j;
import org.springframework.jdbc.support.JdbcUtils;

import javax.sql.DataSource;
import java.sql.*;
import java.util.NoSuchElementException;

/**
 * JDBC - DataSource 사용, JdbcUtils 사용
 */
@Slf4j
public class MemberRepositoryV1 {

    private final DataSource dataSource;

    public MemberRepositoryV1(DataSource dataSource) {
        this.dataSource = dataSource;
    }

    // save(), findById(), update(), delete() ...

    private void close(Connection con, Statement stmt, ResultSet rs) {
        JdbcUtils.closeResultSet(rs);
        JdbcUtils.closeStatement(stmt);
        JdbcUtils.closeConnection(con);
    }

    private Connection getConnection() throws SQLException {
        Connection con = dataSource.getConnection();
        log.info("get connection={}, class{}", con, con.getClass());
        return con;
    }
}
  • DataSource 의존관계 주입
    • DataSource 인터페이스의 getConnection() 메소드를 통해 커넥션 획득 ! 
    • DataSource가 인터페이스이기 때문에 DriverManagerDataSource -> HikariDataSource로 변경되어도 이 클래스의 코드는 변경하지 않아도 됨 ! 
  • JdbcUtils 편의 메소드 
    • 커넥션을 편리하게 닫을 수 있음 

 

 

 

1) DriverManagerDataSource 사용

package hello.jdbc.repository;

import com.zaxxer.hikari.HikariDataSource;
import hello.jdbc.domain.Member;
import lombok.extern.slf4j.Slf4j;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.springframework.jdbc.datasource.DriverManagerDataSource;

import java.sql.SQLException;
import java.util.NoSuchElementException;

import static hello.jdbc.connection.ConnectionConst.*;
import static org.assertj.core.api.Assertions.assertThat;
import static org.assertj.core.api.Assertions.assertThatThrownBy;

@Slf4j
class MemberRepositoryV1Test {

    MemberRepositoryV1 repository;

    @BeforeEach
    void beforeEach() {
        // 기본 DriverManager - 항상 새로운 커넥션 획득
        DriverManagerDataSource dataSource = new DriverManagerDataSource(URL, USERNAME, PASSWORD);

        repository = new MemberRepositoryV1(dataSource);
    }

    @Test
    void crud() throws SQLException {
        // save
        // findById
        // update
        // delete
    }

}

 

  • conn 0 ~ 5 -> 항상 새로운 커넥션 생성 -> 성능 저하

 

 

2) HikariDataSource 사용

package hello.jdbc.repository;

import com.zaxxer.hikari.HikariDataSource;
import hello.jdbc.domain.Member;
import lombok.extern.slf4j.Slf4j;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.springframework.jdbc.datasource.DriverManagerDataSource;

import java.sql.SQLException;
import java.util.NoSuchElementException;

import static hello.jdbc.connection.ConnectionConst.*;
import static org.assertj.core.api.Assertions.assertThat;
import static org.assertj.core.api.Assertions.assertThatThrownBy;

@Slf4j
class MemberRepositoryV1Test {

    MemberRepositoryV1 repository;

    @BeforeEach
    void beforeEach() {
        // 커넥션 풀링
        HikariDataSource dataSource = new HikariDataSource();
        dataSource.setJdbcUrl(URL);
        dataSource.setUsername(USERNAME);
        dataSource.setPassword(PASSWORD);

        repository = new MemberRepositoryV1(dataSource);
    }

    @Test
    void crud() throws SQLException {
        // save
        // findById
        // update 
        // delete
    }

}

  • get connection = ~~ conn0 : conn0 커넥션 재사용
    • 테스트는 순서대로 실행되기 때문에 커넥션 사용 -> 반환 반복 -> 따라서 conn0만 사용
    • 동시에 여러 요청이 들어오면 여러 쓰레드에서 커넥션 풀의 커넥션을 다양하게 가져감
    • 커넥션 풀을 사용할 때는 close() -> 종료가 아니라 풀에 반환

 

 

DI 의존성 주입 

DriverManagerDataSource -> HikariDataSource 로 변경해도 
MemberRepositoryV1의 코드는 전혀 변경 X -> DataSource 인터페이스에만 의존하기 때문 !! 
-> DataSource 를 사용하는 장점