[멀티코어CPU] 06. 데이터 병렬성 & 캐시

 

 

정내훈 교수님이 추천한 책

「 프로그래머가 몰랐던 멀티코어 CPU 이야기」 - 김민장 지음 

위의 책을 토대로 공부한 내용이 작성되었음

 

---

 

 

 

- 데이터 병렬성

 : SIMD(Single Instruction Multiple Data) → 같은 명령어가 다른 데이터에 각각 적용됨

 

for (int i = 0; i < 4; ++i)
	c[i] = a[i] + b[i];          // 벡터 원소에 대한 작업은 서로 독립적이다
    



// SIMD 명령어 실행 구조
// 동시에 덧셈이 이루어짐

// A[3] + B[3] -> C[3]
// A[2] + B[2] -> C[2]
// A[1] + B[1] -> C[1]
// A[0] + B[0] -> C[0]

 

 : 벡터에 대한 산술 뿐만 아니라 비교, 변환, 셔플 등에도 제공됨

 : 명령은 컴파일러가 코드를 분석해 적합하다고 판단되면 자동으로 생성하기도 함 (자동 벡터화)

 

 

 

- CPU 캐시

 : 캐시 → 메인 메모리와 프로세서의 시간적, 공간적 거리를 줄이기 위한 작은 기억 장치

 : 시간적 지역성 → 최근 사용했던 데이터를 가장 가까운 미래에 다시 사용할 확률이 높음을 의미

 : 공간적 지역성 → 어떤 데이터가 사용된다면 그와 인접한 데이터에 접근할 것 같음을 의미

 : 일반적인 캐시 구조 → 캐시에서 원하는 데이터 탐색 / 새로운 데이터 추가 / 이전 데이터 중 일부 교체할 수 있어야 함

  1) 캐시 히트 : 캐시에 원하는 데이터 有

  2) 캐시 미스 : 데이터 못 찾았을 때 (직접 해당 데이터를 찾아 넣어야 하는 비용  → 미스 패널티)

  3) 히트 레이턴시 : 캐시가 적중해 원하는 자료를 가져올 때의 비용

 : 캐시 라인 → 실제 저장되는 데이터 - 태그(tag) - 캐시 찾기  정보 (포인터 등) - 캐시 교체 정보 (언제 이용되는가 등) - 기타 정보 필요

 : 주어진 데이터를 캐시에서 찾는 작업은 해시 테이블 구조로 구현 (SRAM)

 

 

1) 캐시 검색 방법

 - 데이터 주소 값이 정해질 때 / 태그가 최상위 비트로 선택된 이유는 캐시 매핑 시 충돌 적게 하기 위함

 : 우선 캐시 라인 주소를 캐시가 가진 수 만큼 매핑 → 태그 / 인덱스 / 오프셋

 : 인덱스 → 주소 값 중 가운데 부분 & 이 값으로 캐시 라인 찾음

 : 태그  → 최상위 비트 중 나머지 부분 & 캐시 라인이 내가 원하는 값이 맞는지 확인

 : 오프셋 → 하위 비트 일부 & 캐시 라인 내에서 원하는 데이터를 가르킴

 

 

2) 캐시 배치 정책

 : 주어진 캐시를 저장할 때, 같은 이넥스를 가진 여러 개의 메모리 주소가 서로 충돌을 일으킬 수 있다 (캐시미스)

 : 직접 사상 캐시 → 한 인덱스에 캐시 라인 하나 할당

 : 집합 연관 캐시 → 한 인덱스가 N개의 캐시 라인 내에서 대응할 수 있음 (N개의 캐시 라인은 하나의 세트를 이룸)

 : 완전 연관 캐시 → 캐시 어디에도 할당할 수 있음

 

 

3) 캐시 교체 정책

 : 직접 사상 캐시에서는 의미가 없으나 다른 방법에서는 최대 N개 중 하나를 골라야 함으로 필요함

 : LRU(Last Recently Used) → 가장 최근에 사용되지 않은 캐시 라인 삭제

 : LFU(Last Frequently Used) → 접근 빈도에 따라 삭제

 

 

4) 캐시 쓰기 정책

 : write-through 정책 → 메모리/아래 계층의 캐시로 바로 반영 가능 (레이턴시가 김)

 : write-back 정책 → 변경된 데이터를 갖고 있다가 나중에 캐시에서 나갈 때 반영함 (구현의 어려움 → 더티 비트 존재)

 

 

 

 : 캐시의 성능 →  접근 시간으로 표현 가능함

 : 평균 접근 시간 = 히트 레이턴시 + 미스 비율 = 캐시 미스/(캐시 미스+캐시 히트) * 미스 패널티

 

 : 캐시는 보통 하나가 아닌 L1, L2, L3 등 계층으로 되어 있다 → 메모리 레이턴시 저하

 

 

 

- 멀티코어

 : 각 코어에 명령어 및 데이터 일차 레벨 캐시가 독립적으로 들어있음

 : L2 → 독립캐시, L3 → 대부분 공유 캐시

 : 캐시에 저장된 데이터 사이, 일관성 문제 대두 (코히런스 문제) → 코어를 고려한 프로그래밍 필요