[JPA활용 2] API 개발 고급 - 컬렉션 조회 최적화1

June 17, 2022 4 분 소요

주문내역에서 주문한 상품 정보를 추가로 조회하려고 하며, Order 기준으로 컬렉션인 Orderitem과 Item이 필요하다.(OneToMany)

주문 조회 V1

엔티티 직접 노출

OrderApiController

@RestController
@RequiredArgsConstructor
public class OrderApiController {

    private final OrderRepository ordrRepository;

    @GetMapping("/api/v1/orders")
    public List<Order> ordersV1() {

        List<Order> all = orderRepository.findAll(new OrderSearch());
        
        for(Order order : all) {
            order.getMember().getName(); // LAZY 강제 초기화
            order.getDelivery().getAddress(); // LAZY 강제 초기화
            List<OrderItem> orderItems = order.getOrderItems();
            orderItems.stream().forEach(o -> o.getItem().getName()); // LAZY 강제 초기화
        }
        return all;
    }
}

orderItem, item 관계를 직접 초기화하면 Hibernate5Module 설정에 의해 엔티티를 JSON으로 생성한다.
양방향 연관관계면 무한 루프에 걸리지 않게 한 곳에 @JsonIgnore를 추가해야 한다.
엔티티를 직접 노출하므로 좋은 방법은 아니다.

주문 조회 V2

엔티티를 DTO로 변환

OrderApiController

@GetMapping("/api/v2/orders")
public List<OrderDto> ordersV2() {
    
    List<Order> orders = orderRepository.findAll(new OrderSearch());

    List<OrderDto> result = orders.stream()
            .map(o -> new OrderDto(o))
            .collect(toList());

    return result;
}

@Data
static class OrderDto {

    private Long orderId;
    private String name;
    private LocalDateTime orderDate;
    private OrderStatus orderStatus;
    private Address address;
    private List<OrderItemDto> orderItems;

    public OrderDto(Order order) {
        orderId = order.getId();
        name = order.getMember().getName(); // LAZY
        orderDate = order.getOrderDate();
        orderStatus = order.getStatus();
        address = order.getDelivery().getAddress(); // LAZY
        orderItems = order.getOrderItems().stream()
                .map(orderItem -> new OrderItemDto(orderItem))
                .collect(toList());
    }
}

@Data
static class OrderItemDto {

    private String itemName;
    private int orderPrice;
    private int count;

    public OrderItemDto(OrderItem orderItem) {
        itemName = orderItem.getItem().getName();
        orderPrice = orderItem.getOrderPrice();
        count = orderItem.getCount();
    }
}

지연 로딩으로 너무 많은 SQL 실행
SQL 실행 수
- order - 1번
- member, address - N번(order 조회 수 만큼, 여기서는 2번씩)
- orderItem - N번(order 조회 수 만큼, 여기서는 2번)
- item - N번(orderItem 조회 수 만큼, 여기서는 2번 + 2번)
예제에서는 총 11번의 쿼리가 나간다.

[참고]
지연 로딩은 영속성 컨텍스트에 있으면 영속성 컨텍스트에 있는 엔티티를 사용하고 없으면 SQL을 실행한다. 따라서, 같은 영속성 컨텍스트에서 이미 로딩한 회원 엔티티를 추가로 조회하면 SQL을 실행하지 않는다.

주문 조회 V3

엔티티를 DTO로 변환 - 패치 조인 최적화

OrderApiController

@GetMapping("/api/v3/orders")
public List<OrderDto> ordersV3() {
    List<Order> orders = orderRepository.findAllWithItem();
    List<OrderDto> result = orders.stream()
            .map(o -> new OrderDto(o))
            .collect(Collectors.toList());

    return result;
}

OrderRepository(+)

public List<order> findAllWithItem() {
    return em.createQuery(
            "select distinct o from Order o" +
            " join fetch o.member m" +
            " join fetch o.delivery d" +
            " join fetch o.orderItems oi" +
            " join fetch oi.item i", Order.class)
        .getResultList();
}

패치 조인으로 SQL이 한 번만 실행됨
distinct를 사용한 이유는 1:N 조인이 있으므로 데이터베이스 row가 증가한다. 그 결과 같은 order 엔티티의 조회 수도 증가하게 된다. JPA의 distinct는 SQL에 distinct를 추가하고, 더해서 같은 엔티티가 조회되면, 애플리케이션에서 중복을 걸러준다.
- 이 예제에서는 order가 컬렉션 패치 조인 때문에 중복 조회 되는 것을 막아준다.
단점
- 페이징 불가능

[참고]
컬렉션 패치 조인을 사용하면 페이징이 불가능하다. 하이버네이트는 경고 로그를 남기면서 모든 데이터를 DB에서 읽어오고, 메모리에서 페이징 해버린다. 자세한 내용은 포스트 중에 패치 조인 부분을 참고.

[참고]
컬렉션 패치 조인은 1개만 사용할 수 있다. 컬렉션 둘 이상에 패치 조인을 사용하면 데이터가 부정합하게 조회될 수 있기 때문이다.

주문 조회 V3.1

엔티티를 DTO로 변환 - 페이징과 한계 돌파

컬렉션을 패치 조인하면 페이징이 불가능하다.
- 컬렉션을 패치 조인하면 일대다 조인이 발생하므로 데이터가 예측할 수 없이 증가한다.
- 일대다에서 일(1)을 기준으로 페이징을 하는 것이 목적이다. 그런데 데이터는 다(N)를 기준으로 row가 생성된다.
- Order를 기준으로 페이징하고 싶은데, 다(N)인 OrderItem을 조인하면 OrderItem이 기준이 되어버린다.
이 경우 하이버네이트는 경고 로그를 남기고 모든 DB 데이터를 읽어서 메모리에서 페이징을 시도한다.

한계 돌파

대부분의 페이징 + 컬렉션 엔티티 조회 문제는 이 방법으로 해결할 수 있다.

먼저 ToOne(OneToOne, ManyToOne) 관계를 모두 패치 조인 한다. ToOne 관계는 row수가 증가하지 않기 때문에 페이징 쿼리에 영향을 주지 않는다.
컬렉션은 지연 로딩으로 조회한다.
지연 로딩 성능 최적화를 위해 hibernate.default_batch_fetch_size, @BatchSize를 적용한다.
- default_batch_fetch_size : 글로벌 설정
- @BatchSize : 개별 최적화
- 이 옵션을 사용하면 컬렉션이나, 프록시 객체를 한꺼번에 설정한 size 만큼 IN 쿼리로 조회한다.

OrderRepository(+)

public List<Order> findAllWithMemberDelivery(int offset, int limit) {
    return em.createQuery(
            "select o from Order o" +
            " join fetch o.member m" +
            " join fetch o.delivery d", Order.class)
        .setFirstResult(offset)
        .setMaxResult(limit)
        .getResultList();
}

OrderApiController(+)

@GetMapping("/api/v3.1/orders")
public List<OrderDto> ordersV3_page(
                @RequestParam(value = "offset", defaultValue = "0") int offset,
                @RequestParam(value = "limit", defaultValue = "100") int limit) {

    List<Order> orders = orderRepository.findAllWithMemberDelivery(offset, limit);

    List<OrderDto> result = orders.stream()
            .map(o -> new OrderDto(o))
            .collect(Collectors.toList());
    
    return result;
}

최적화 옵션

spring:
 jpa:
  properties:
    hibernate:
       default_batch_fetch_size: 1000

개별로 설정하려면 @BatchSize를 적용하면 된다. (컬렉션은 컬렉션 필드에, 엔티티는 엔티티 클래스에 적용)
장점
- 쿼리 호출 수가 1 + N -> 1 + 1로 최적화 된다.
- 조인보다 DB 데이터 전송량이 최적화 된다. (Order와 OrderItem을 조인하면 Order가 OrderItem 만큼 중복해서 조회된다. 이 방법은 각각 조회하므로 전송해야할 중복 데이터가 없다.)
- 패치 조인 방식과 비교해서 쿼리 호출 수가 약간 증가하지만, DB 데이터 전송량이 감소한다.
- 컬렉션 패치 조인은 페이징이 불가능 하지만 이 방법은 페이징이 가능하다.
결론
- ToOne 관계는 패치 조인해도 페이징에 영향을 주지 않는다. 따라서, ToOne 관계는 패치조인으로 쿼리 수를 줄여 해결하고, 나머지는 hibernate.default_batch_fetch_size로 최적화하면 된다.

[참고]
hibernate.default_batch_fetch_size의 크기는 적당한 사이즈를 골라야 하는데, 100~1000 사이를 권장한다. 1000으로 잡으면 한 번에 1000개를 DB에서 애플리케이션에 불러오므로 DB에 순간 부하가 증가할 수 있다. 하지만, 애플리케이션은 100이든 1000이든 결국 전체 데이터를 로딩해야 하므로 메모리 사용량은 같다. 1000으로 설정하는 것이 성능상 가장 좋지만, 결론적으로 DB나 애플리케이션이 순간 부하를 어디까지 견딜 수 있는지로 결정하면 된다.

<출처 : 인프런 - 실전! 스프링 부트와 JPA 활용2 (김영한)>

Twitter Facebook LinkedIn

[JPA활용 2] API 개발 고급 - 컬렉션 조회 최적화1

주문 조회 V1

OrderApiController

주문 조회 V2

OrderApiController

주문 조회 V3

OrderApiController

OrderRepository(+)

주문 조회 V3.1

한계 돌파

OrderRepository(+)

OrderApiController(+)

공유하기

댓글남기기

참고

[독서] 돈의속성

[독서] 부자 아빠 가난한 아빠

[독서] 부자 아빠 가난한 아빠

[취업] SKCT 후기