YUV Player 만들기

Project 2010. 2. 9. 22:26

안녕하세요? 맨날맑음 입니다.

 

YUV 시퀀스를 재생하기 위해서 Raw Data Displayer(RDisp)라는 프로그램을 사용 하였습니다. 카이스트에서 한국사람이 개발한 프로그램인데요. 여러개의 파일을 동시에 재생하고, 여러가지 YUV 포맷을 지원하여 매우 잘 사용하고 있었습니다.


- Fig1. RDisp -

저도 몇달전쯤 심심하던차에 YUV Player를 만들어 보려고 시도해 보았습니다. 사실 Color Space에 대한 명확한 이해와 레퍼런스가 부족하여 몇일을 걸려 완성했는데요..(사실 아직 문제점이 많습니다) 만들면서 발생한 문제점과 만드는 방법을 포스팅하려 합니다.

 

#1. YUV Plyaer를 만들기 위한 준비

개발환경

IDE : Microsoft Visual Studio 2008

언어 : Visual C#

프레임워크 : .NET Framework 2.0

출력 형식 : Windows Form

제가 닷넷을 선택하고 윈폼으로 프로젝트를 한 이유는 간단합니다. MFC나 기타 다른 방법이 있을 테지만 닷넷이 제일 익숙하기 떄문이었습니다. –_-; 그냥 플레이어의 알고리즘만 익히자는 취지도 이 선택에 한 몫 했습니다.

 

막상 Player를 만드려고 보니 YUV를 어떻게 화면에 뿌려줄까? 라는 의문이 들었습니다. YUV를 바로 화면에 뿌릴 수 있는 방법은 애당초 없습니다. 컴퓨터 화면은 RGB포맷을 사용하기 때문이죠. 그렇습니다. YUV를 RGB로 바꿔야 합니다.

 

YUV Player의 프로세싱 과정

1. YUV 데이터를 읽어 온다.
2. RGB로 변환한다.
3. RGB에 Bitmap 헤더 정보를 입혀 Bitmap으로 변경한다.
4. Bitmap을 fps에 따라 적당한 속도로 화면에 뿌려준다.

대충 위와같은 과정을 거치게 됩니다.

 

YUV와 RGB에 관한 지식이 필요합니다. 이전 포스팅 중 http://crynut84.tistory.com/56를 참고 하시면 관련 내용을 알 수 있습니다.그리고 위키(http://en.wikipedia.org/wiki/YUV)를 보시면 좀 더 자세한 정보를 얻을 수 있습니다.

 

#2. YUV –> RGB

public Color YUVtoRGB(int Y, int U, int V)

{ 

    return Color.FromArgb(Clippiing((76284 * (Y - 16) + 104595 * (V - 128)) >> 16),

        Clippiing((76284 * (Y - 16) - 53281 * (V - 128) - 25625 * (U - 128)) >> 16),

        Clippiing((76284 * (Y - 16) + 132252 * (U - 128)) >> 16));          

}

 

byte Clippiing(int data)

{

    return (byte)((data < 0) ? 0 : ((data > 255) ? 255 : data));

}


위와같은 방법으로 YUV를 RGB로 변경 할 수 있습니다. YVUtoRGB 메서드의 인자에 YUV를 넣으면 Color 객체로 return 하게 되어있습니다. Clipping 메서드는 단순히 0~255값을 가지는 RGB요소가 범위를 벗어 났을 경우 범위안으로 넣어주는 역할을 합니다.

 

#3. YUV4:2:0 포맷의 이해

제가 가장 많은 시간이 걸린 부분입니다. YUV4:2:0 비트스트림에 대한 정확한 이해가 없었기 때문에 RGB로 변경하여 화면에 뿌렸을 경우 계속해서 Color성분이 이상하게 나오는 것이었습니다.

- Fig2. YUV4:2:0의 개념-

 

위 부분을 정확히 이해해야지만 RGB로 컨버팅 하였을때 원하는 영상을 얻을 수 있습니다.  4:2:0이면 Y성분4개가 U,V성분을 하나씩 공유해서 쓴다는 것은 쉽게 알 수 있습니다. 하지만 저는 Y0,Y1,Y3,Y4의 성분이 U0을 공유하여 쓰는 줄 알았습니다. 이걸로 거의 하루의 시간을 버리게 되었죠;;

 

위의 Fig2에서 알 수 있다 싶이 크기가 Width : 8, Height : 4인 프레임이 있을 때,  Y0,Y1,Y8,Y9가 U0과 V0을 공유하게 됩니다. 요걸 알고 부터, 기본개념을 정확히 익혀야 하는 것을 다시한번 절감하였습니다.

 

즉. Y0부분을 RGB로 바꾸고 싶으시면 Y0, U0, V0의 값을 YVUtoRGB 메서드에 인자로 넣어주면 Y0자리의 Color(RGB)가 나오게 됩니다. 그림에 보면 색깔로 자신의 짝을 구분해 놓았습니다.

 

#4. 타이머 셋팅 영상 플레이

여기까지 만들었다면 다음은 간단합니다.해당하는 영상을 얼마의 속도로(fps) 재생할지 결정하여 PictureBox컨트롤에 해당하는 Bitmap을 보여주기만 하면 됩니다. 저는 1초에 30프레임 정도로 셋팅하였습니다.

 

#5. 문제점

기본적으로 재생하는데는 문제가 없습니다. 하지만 YUV 시퀀스를 로딩하는데 엄청난 시간이 소요됩니다. 또한 CPU 점유율 또한 엄청 잡아 먹게 됩니다. 각 픽셀을 RGB로 만드는데 많은 연산이 필요하여 그런 것 같은데요.. BackgroundWorker를 사용하여 쓰레드를 이용하여 처리했음에도 로딩 시간이 필요하게 됩니다.

 

이 문제가 사실 제일 큰 문제인데요.. 혹자는 어셈블리 코딩으로 퍼포먼스를 높여야한다고 하고, 닷넷을 선택한 것 자체가 문제라는 소리도 있고, 또.. 제 프로그램의 프로세스 자체가 애초에 틀렸는지도 모르겠습니다.

 

가장 의심되는 부분은 YUV->RGB 변경시 많은 연산때문이라고 여겨 지는데요.. 검색하다보니 RGB Look up table사용하는 방법으로 해결 될 수도 있겠다는 생각도 듭니다.(하지만 정작 테이블 자료는 없더군요..)

 

향후 이 문제가 개선되면 RDisp 못지않은 기능을 가진 Player도 만들어 보고 싶군요..

제 소스코드와 실행파일을 첨부 합니다. 혹여 YUV 플레이어를 만드시는 분께는 조금이나마 도움이 되길 바라고, 제가 가진 문제점에 대해서는 많은 피드백이 있었으면 좋겠습니다. 아직 완성단계가 아니기 때문에 예외처리와 소스 구조는 고려하지 않고 작성하였습니다.



YUV Player (ver1.0) : OS에 .NET Framework2.0이 설치되어 있어야 합니다. 실행후 YUV 시퀀스를 드래그 앤 드롭 방식으로 끌어오거나 마우스 오른쪽 버튼을 이용하면 메뉴를 이용 하실 수 있습니다.


소스코드 : Microsoft Visual Studio 2008에서 제작 하였습니다.

Player 실행에 필요한 시퀀스는 이곳에서 다운로드 받으실 수 있습니다. 현재 YUV4:2:0 포맷과 CIF Size만 지원됩니다.

Posted by 맨날맑음
,