[멀티코어CPU] 09. 병렬 프로그래밍 & 하이젠 버그

 

 

- 원자적 연산 (atomic operation)

 : 원자 연산 → 더 이상 나눠지지 않는 연산

 : DataRace 문제 발생할 수 있음 → 두 개 이상의 스레드가 공유 자원을 놓고 서로 경제적으로 값을 읽고 써서 발생함

 : 원자 연산이 되도록 처리해주어야 함

 

뮤텍스(mutex) 세마포어(semaphore)	어떤 코드 영역이나 데이터의 배타적 접근 (상호배제)을 보장하는 객체  Critical section 또는 lock이라고도 부름  세마포어는 최대 n명이 공유 자원을 동시에 접근 가능하게 하고 나머지 객체는 한 번에 한 명만 공유 자원에 접근 가능함
조건 변수(conditional variable) 이벤트(event)	한 스레드가 어떤 조건이 만족되거나 신호가 올 때까지 잠자도록 함. 다른 스레드가 이 변수 값을 갱신해 잠자고 있는 스레드를 깨울 수 있음
배리어(barrier)	참여 중인 스레드가 모두 배리어를 부른 지점에 도달해야만 다음으로 넘어갈 수 있음  하나라도 도달하지 못하면 대기 상태
스레드 포크(fork) 조인(join)	포크 : 하나의 스레드가 여러 스레드로 나누어 진다  조인 : 나누어진 스레드가 종료됨  배리어와 유사한 면이 있으나 스레드 조인 함수는 인자로 받은 스레드 리스트가 모두 소멸되거나 적어도 하나가 소멸되어야 반환됨

 

 

 

- 직렬 프로그램을 병렬화하려면

 1) 적합한 병렬화 대상 찾기 

  → 가장 많은 수행 시간을 차지하는 함수나 루프

 2) 그 대상의 병렬화 가능한지 코드 분석하기 - 데이터 의존성 분석 / 충분한 병행성 있는지

  → 간단하게 병렬화가 되는가, 동기화 객체를 이용해 알고리즘을 수정해야 하는가 

  → 데이터 의존성 검사 / 루프일 경우 루프 전이 의존성 조사 필요

  (아무런 노력하지 않고 그냥 병렬화가 가능한 루프일 때 embarrassingly parallel이라 함

 3) 코드 병렬화 하기 - 접근 되는 변수가 멀티스레드로부터 안전한가/동기화가 필요한가 & 어떤 종류의 병렬성을 찾아 어떻게 병렬화? & 병렬화된 코드를 어떻게 실제로 멀티코어에 할당?

  → 상위 루프를 병렬화해 스레드 포크/조인 비용을 최소화하는 것이 중요

 4) 제대로 돌아가는지 검증

 5) 최적의 성능을 낼 수 있게 튜닝

 

 

 

- 하이젠 버그

 : 버그를 잡으려면 가장 먼저 발견한 버그를 재현해야 함

 : 멀티스레드 버그는 printf를 넣어서 버그를 확인하려 하면 이 자체가 영향을 주어 정확히 파악하기 어려움

 

 

 1) 데이터 레이스 (DataRace)

 : 어떤 공유 데이터가 두 스레드 이상에게서 동시에 접근되는 상황 + 적어도 하나의 접근이 쓰기일 경우

 : 이로 인한 버그는 재현하기 어렵다

 2) 원자성 위반, 순서 위반 : 근본적 원인은 메모리 오염임 

 3) 데드락 버그