OwFS : 데이타 서버 장애 대응 방법

장애유형
일시적 장애와 영구적장애 두 가지로 분류할 수 있다.
일시적 장애란 네트워크 장비의 일시적인 오동작 관리자에 의한 시스템 재시작과 같은 일시적으로 DS가 파일 연산 요청에 응답하지 못하는 경우를 의미한다. 일시적 장애가 해소된 후에는 장애 발생 직전의 데이터를 이용할 수 있으므로, OwFS는 복제본 복구(Replica Recovert)를 통하여 일시적 장애가 있던 동안 업데이트된 파일의 일관성을 유지시킨다.

영구적 장애는 하그디스크의 고장, 파일 시스템 오류, 커널 패닉, 전원 공급장치 고장 등과 같이 해당 DS가 정상적으로 서비스를 지속 할 수 없는 심각한 상황을 의미하며, 이 경우에는 장애 발생 직전의 데이터를 이용할 수 없는 경우가 대부분이므로 OwFS는 복제본 이동(Replica Migration)을 통해 다른 DS에 새로운 본제본을 생성한다.

복제본 상태변화

 

본 그림은 일시적/영구적 장애 검출과 해소에 따른 복제본의 상태 변화를 요약한 그림이다. 각각의 복제본은 어느 순간 N (Normal), M (Migrating), R (Recovering), F (Fail) 중 하나의 상태에 있게 된다.N 상태는 정상적인 복제본을 의미하고, F 상태는 복제본을 저장하고 있는 서버가 장애에 빠져 해당 복제본을 접근할 수 없음을 뜻한다. 만일 발생한 장애가 일시적인  장애였다면, 장애가 해소된 후 해당 복제본은 R 상태로 전이하고, 복제본 복구 과정을 시작한다. 복제본 복구 과정이 완료되면 다시 정상 상태인 N 상태로전이한다. 반면 발생한 장애가 영구적인 장애인 경우, 해당 복제본의 상태는 M 상태로 바뀌고 MDS는 복제본 이동 과정을 시작한다. 복제본 이동이 정상적으로 완료되면 해당 복제본의 상태는 다시 N 상태로 돌아간다.

 

복제본 복구
일시적인 장애에 빠졌다가 돌아온 경우 DS는 복제본 복구 과정을 수행한다. 복제본 복구의 목표는 해당 DS가 일시적인 장애에 있는 동안 발생한 변경을 반영하여 다은 복제본과의 데이터 일관성을 유지하는 것이다. 일시적인 장애로부터의 복구를 위해 OwFS는 로깅방법을 사용한다. 어떤 복제본이 F 상태에 빠진 경우,다른 정상 상태의 복제본들은 MO-LOG(Missed OperationsLog)라 불리는 로그를 작성하여 그동안 일어난 업데이트를 기록한다. 남아 있는 정상 상태의 복제본 중 하나가 또 다른 장애에 빠질 수 있기 대문에, MO-LOG는 모든 N 상태의 복제본에 의해 기록되어야 한다. 일시적인 장애가 해소되면 DS는 MDS에게 자신이 복제본 복구과정을 개시 했을을 알리고, F->R로 상태 변경을 요청한다. 그리고 자신이 저장하고 있는 모든 owner에 대해 정상 상태의 복제본을 소유하고 있는 서버를 접근하여 MO-LOG를 수신하고, 이를 재연하는 과정을 반복한다. 한편 한편 MO-LOG를 수신하여 재연하는 동안 해당 owner 에 대해 새로운 업데이트 요청이 수신될 수 있다. MOLOG가 완전히 재연되기 전까지 새로 도착하는 업데이트 요청은 바로 처리될 수 없기 때문에 OwFS는 이들을 DO-LOG(Delayed Operations Log)라 불리는 별도의 로그에 임시로 저장한다. DO-LOG는 MO-LOG의 재연이 완료된 후 이어서 처리되며, 모든 owner에 대해 이 과정이 완료되면 해당 DS는 자신의 상태를 N상태로 변경한 후 복제본 복구 과정을 종료한다.

복제본 이동
어떤DS가 영구적인 장애에 빠진 것으로 판단되면, 해당 DS에 속한 복제본은 더 이상 가용하지 않으므로 일정한 복제본 수를 유지하기 위하여 MDS는 복제본 이동 과정을 개시한다. 복제본 이동은 각 대상 owner에 대해 새로운 복제본을 저장항 DS의 위치를 결정하고, N상태의 복제본 이동이 행해지며, 시스템의 성능을 유지하기 위해 하나의 DS는 동시에 두 개이상의 서로 다른 복제본 이동에 참여하지 않도록 제한한다. 필요에 따라 관리자는 특정 복제본을 임의의 위치로 이동시킬 수 있으며, 특정 DS에 저장 공간이 부족해 질 경우 자동으로 부하를 분산하는 기능도 유사한 방법을 사용하여 구현된다.

서버 용량 산정
http://www.goodus.com/knowledge_pds/%ED%9A%A8%EC%9C%A8%EC%A0%81%EC%9D%B8%20%EC%8B%9C%EC%8A%A4%ED%85%9C%EA%B4%80%EB%A6%AC%EB%A5%BC%20%EC%9C%84%ED%95%9C%20%EB%85%B8%ED%95%98%EC%9A%B02.pdf

http://www.google.com/url?sa=t&rct=j&q=&esrc=s&frm=1&source=web&cd=3&ved=0CC4QFjAC&url=http%3A%2F%2Fdemo.initech.com%2F%3Fmodule%3Dfile%26act%3DprocFileDownload%26file_srl%3D2521%26sid%3D2b457a169669617d707f82f281232c65&ei=_ZZAVJ3zL8PDmAX4z4LIDg&usg=AFQjCNGWHcWP5jYacdDpPc7PXts_pXOjYg&sig2=ezQsDguYYYhp4iowp2-rGQ

정부주도의 지침서
http://web-dev.tistory.com/743