[Java] I/O Buffer

출처

ChatGPT

https://velog.io/@mmy789/Java-NIO-3

[Java] NIO - 버퍼

 

---

버퍼란? Buffer

버퍼는 데이터를 일시적으로 저장하는 메모리 공간이다. 주로 입출력 (I/O) 작업에서 사용되며, 데이터를 모아서 한꺼번에 읽거나 쓰는 방식으로 성능을 개선한다.

 

버퍼를 사용하는 이유

1. 입출력 성능 향상

입출력 장치는 일반적으로 CPU보다 속도가 느리기 떄문에, 데이터를 하나씩 전송하면 매우 비효율적일 수 있다. 이를 해결하기 위해 버퍼는 데이터를 일정량 모아 한 번에 전소함으로써 성능을 크게 향상시킨다.

CPU와 입출력 기기의 속도 차이

• CPU는 초당 수십억 명령어를 처리할 수 있는 고속 장치이다.
• 입력출 기기는 상대적으로 느린 장치이다. 예를 들어, 하드디스크는 물리적인 회전과 헤드 이동이 필요하며, 네트워크 통신은 대기 시간이 발생할 수 있다.
• 이러한 속도 차이 때문에 CPU가 입출력 작업을 기다리면서 멈추게 되면 전체 시스템의 성능이 저하된다. 이는 I/O 병목 현상이라고 한다.

버퍼의 역할

데이터를 일시적으로 저장하고, 한꺼번에 처리해 CPU와 입출력 기기 간의 속도 차이를 완화한다.

 

1. 쓰기 작업

• CPU가 데이터를 빠르게 생성하고, 버퍼에 저장한다. 이 데이터를 입출력 기기가 여유가 있을 때 천천히 가져가도록 해서 입출력 기기의 느린 속도록 인해 CPU가 기다리는 현상을 줄인다.
• 예를 들어, 파일에 데이터를 쓸 때, CPU는 데이터를 버퍼에 먼저 저장하고, 이후에 버퍼의 데이터를 한 번에 디스크에 기록한다. 이를 통해 작은 데이터 단위로 여러 번 디스크에 기록하는 것보다 더 효율적으로 작업을 처리할 수 있다.

2. 읽기 작업

• 입출력 기기가 데이터를 버퍼에 저장해 놓으면, CPU는 버퍼에서 필요한 데이터를 빠르게 읽어 올 수 있다. 입출력 기기가 데이터를 읽어오는 동안 CPU는 다른 작업을 수행할 수 있기 때문에, CPU의 대기 시간을 줄일 수 있다.
• 예를 들아. 파일에서 데이터를 읽을 때, 데이터를 일정 크기로 한 번에 버퍼에 읽어 놓고, 그 버퍼에서 CPU가 필요할 때마다 데이터를 가져가는 방식으로 작업을 수행한다. 이를 통해 디스크에서 작은 데이터를 여러 번 읽어오 오버헤드를 줄이고, 전체적인 처리 속도를 높일 수 있다.

2. 시스템 호출 최소화

버퍼를 사용하면 시스템 호출의 횟수를 줄일 수 있다. 입출력 작업은 시스템 호출이 많이 발생하는 작업 중 하나인데, 시스템 호출이 빈번하면 CPU 성능에 부담을 줄 수 있다. 버퍼를 사용하면 여러 데이터를 모아서 한 번에 처리하기 때문에 시스템 호출을 줄여 성능을 개선한다.

 

🤔 왜 입출력 작업이 빈번하면 CPU 성능에 부담이 될까

시스템 호출이란

사용자 프로그램이 운영 체제의 커널(kernel)에 직접적인 접근을 요청하는 방법. 프로그램이 일반적인 연산이나 메모리 접근을 할 때는 사용자 공간(user space)에서 실행되지만, 파일을 열거나 데이터를 읽고 쓰는 것과 같은 작업은 운영 체제의 커널 영역( kernel space)에서 관리해야 한다. 이때, 프로그램은 운영 체제에 시스템 호출을 통해 이러한 작업을 요청하게 된다.

 

입출력 작업과 시스템 호출

입출력 작업(I/O)은 주로 파일 시스템에 접근하거나 네트워크 장치와 통신하는 작업이다. 이런 작업들은 사용자 프로그램이 직접 하드웨어에 접근할 수 없으므로, 운영 체제의 도움이 필요하다. 따라서 시스템 호출을 통해 운영 체제에게 요청한다.

 

시스템 호출이 빈번하면 CPU에 부담이 되는 이유

1. 사용자 모드와 커널 모드 간의 전환 비용

• 시스템 호출이 발생하면 사용자 모드(user mode)에서 커널 모드(kernel mode)로 전환이 이뤄진다. 사용자 모드는 애플리케이션 프로그램이 실행되는 영역이고, 커널 모드는 운영 체제가 실행되는 영역이다.
• 사용자 모드에서 커널 모드로의 전환은 오버헤드가 발생하는 작업이다. 이는 CPU가 작업ㅇ르 처리하기 위해 컨텍스트 전환을 하며, 각종 보안 검사와 프로세스 상태 저장 및 복원을 수행해야 하기 때문이다.
• 입출력 작업이 많아질수록 이 모드 전환이 자주 발생하여, CPU는 원래의 작업을 처리하는 대신 모드 전환과 관련된 작업에 더 많은 시간을 소비하게 된다.

2. 블로킹 I/O의 대기 시간

• 많은 입출력 작업은 블로킹 I/O로 처리된다. 이는 요청된 입출력 작업이 완료될 때까지 프로세스가 대기 상태로 전환된다는 것을 의미한다.

3. CPU 캐시 효율 감소

• CPU 캐시는 자주 접근하는 데이터를 고속으로 저장해 두는 공간이다. 시스템 호출로 인해 사용자 모드와 커널 모드 간의 전환이 자주 발생하면, CPU 캐시에 저장된 데이터가 무효화되어 캐시 미스(cache miss)가 증가할 수 있다. 이는 CPU가 자주 사용하던 데이터를 캐시에서 찾지 못하고 메모리에서 새로 가져와야 하므로 성능 저하가 발생한다.

버퍼를 사용하면

• 배치 처리(Batch Processing)으로 데이터를 일시적으로 모아서 한꺼번에 입출력 작업을 수행한다. 이렇게 함으로써, 각 데이터 단위를 개별적으로 처리할 때보다 시스템 호출의 빈도를 줄이고, 입출력 작업의 효율을 높일 수 있다.
• 블로킹 시간이 감소된다. 베퍼에 데이터를 미리 쌓아두고 필요할 때 처리하므로, CPU가 입출력 작업을 기다리지 않고 다른 작업으로 수행할 수 있어, 블로킹 시간이 줄어든다. 이를 통해 전체 시스템의 성능을 향상시킬 수 있다.
• 비동기 처리가 이뤄진다. 버퍼를 사용하면, 입출력 작업이 완료될 때까지 대기하지 않고 CPU가 다른 작업을 수행할 수 있게 되어 비동기적으로 작업을 처리할 수 있다. 이는 CPU가 효율적으로 사용되어 시스템 성능을 높이는 데 기여한다.

3. 데이터 전송 효율성

버퍼는 데이터를 임시로 저장해 입출력 장치와의 비동기적인 데이터 전송을 가능하게 한다. 에를 들어, 데이터가 빠르게 생성되더라도 버퍼가 먼저 저장하고, 이후 출력 스트림을 통해 차례대로 목적지에 전송할 수 있다. 이렇게 하면 데이터 생성 속도와 데이터 전송 속도의 차이를 완호할 수 있다.

 

버퍼의 종류

1. 다이렉트 버퍼 Direct Buffer

운영체제가 관리하는 메모리 공간을 이용한다.

I/O 작업에서 네이티브 코드와 상호작용할 때 성능 이점이 있다. JVM이 네이티브 코드에 접근할 때 중간 복사 과정을 생략할 수 있기 때문이다.

운영체제의 메모리를 할당받기 위해 운영체제를 호출하므로 상대적으로 버퍼 생성이 느리다. 그래서 자주 생성하기 보다 한 번 생성해서 재사용하는 것이 적합하다. 

운영체제가 허용하는 범위 내에서 대용량 버퍼를 생성시킬 수 있다.

가비지 컬렉터에 의해 관리되지 않기 때문에 수동으로 해제되지 않는다. 메모리 관리를 잘못하면 메모리 누수가 발생할 수 있다.

네트워크 통신 또는 파일 I/O에서 대규모 데이터를 처리하거나 성능이 중요한 경우에 적합하다.

 

2. 논다이렉트 버퍼 Non-Direct Buffer

JVM의 힙 메모리 공간을 이용한다. 작은 데이터나 빈번한 할당/해제가 필요한 작업에서 효율적이다.

네이티브 I/O 작업에서 힙 메모리와 네이티브 메모리 간의 데이터 복사가 필요하면 성능이 떨어질 수 있다.

다이렉트 버퍼에 비하면 버퍼 생성 시간이 빠르다.

JVM의 제한된  힙 메모리를 사용해 버퍼 크기를 크게 잡을 수 없다.

가바지 컬렉터에 의해 자동으로 관리된다.

 

버퍼링이란 Buffering

버퍼링은 입출력 데이터를 임시로 모아두는 과정을 의미한다. 데이터를 한 번에 전송하거나 처리하기 위해 모아서 처리함으로써 성능과 효율성을 향상시킨다.

버퍼링을 통해 시스템 호출 횟수를 줄일 수 있다. 예를 들어, 데이터를 한 바이트씩 읽거나 쓰는 대신, 버퍼에 데이터를 모아 한 번에 전송함으로써 시스템 호출을 최소화한다.

 

버퍼 관련 클래스

BufferedInputStream / BufferedOuputStream

바이트 스트림을 위한 버퍼링 클래스. InputStream이나 OutputStream 객체에 버퍼링 기능을 추가해 더 큰 데이터 덩어리를 한 번에 읽고 쓴다.

BufferedReader / BufferdWriter

문자 스트림을 위한 버퍼링 클래스이다. 파일을 줄 단위로 읽거나 쓸 때 유용하며, readLine() 같은 메소드를 통해 텍스트 파일을 더 효율적으로 처리할 수 있다.

ByteButter(in java.nio.package)

java.nio(New I/O) 패키지의 버퍼 클래스이다. ButeBuffer는 버퍼에 직접 접근해 데이터을 읽고 쓸 수 있는 기능을 제공한다. nio 버퍼는 비동기적으로 채널을 통해 대량의 데이터를 처리할 때 주로 사용된다.

 

버퍼 사이즈 설정

버퍼 사이즈는 입출력 작업의 성능에 중요한 영향을 미친다. 너무 작은 버퍼는 자주 I/O 작업을 발생시켜 성능이 떨어지고, 너무 큰 버퍼는 메모리 낭비가 될 수 있다. 일반적으로는 적절한 크기의 버퍼를 설정해 입출력 작업의 성능을 최적화해야 한다.

자바의 BufferedInputStream과 BufferedOutputStream 클래스의 생성자를 보면 기본적으로 8KB 크기의 버퍼를 사용하는데, 필요한 경우 사용자 정의 크기로 변경할 수 있다.

 

버퍼와 플러시 Flush

flush() 메소드는 버퍼에 저장된 데이터를 목적지로 내보내는 역할을 한다.

출력 스트림에 데이터를 쓸 때 버퍼에 먼저 저장되는데, 아직 버퍼가 가득 차지 않은 경우에는 실제로 데이터를 출력하지 않는다. 이때 flush() 메소드를 호출하면 버퍼에 남아 있는 데이터를 강제로 출력한다.

BufferedWriter나 BufferedOutputStream 같은 클래스에서 자주 사용된다.

 

자동 플러스 AutoFlush

PrintWriter와 같은 클래스에는 자동 플러시 기능이 있다. 예를 들어, println() 메소드가 호출될 때마다 자동으로 플러시하는 기능이 있어 사용자 입력이나 중요한 메시지를 즉시 출력해야 할 때 유용하다.

 

NIO와 전통적인 I/O에서의 버퍼

NIO(New I/O) 패키지에서는 버퍼가 입출력 작업의 중요한 부분이다. java.nio.Buffer 클래스를 통해 버퍼를 직접 관리하고, 비동기 입출력을 효율적으로 처리한다.

전통적인 I/O(java.io)에서는 버퍼가 내부적으로 데이터를 모아두지만, NIO 버퍼에서는 개발자가 직접 버퍼를 다루며 더 정밀한 데이터 전송과 관리가 가능하다.

 

버퍼와 Close()

버퍼와 관련된 스트림을 사용할 때는 반드시 close() 메소드를 호출해 리소스를 해제해야 한다. 스트림을 닫지 않으면 파일이나 네트워크 자원이 계속 점유되어 문제를 일으킬 수 있다. Java 7부터는 try-with-resource 문법을 사용해 재동으로 리소스를 해제할 수 있다.

 

예제

try (BufferedReader br = new BufferedReader(new FileReader("example.txt"))) {
    String line;
    while ((line = br.readLine()) != null) {
        System.out.println(line);
    }
} catch (IOException e) {
    e.printStackTrace();
}