2012-01-19 34 views
6

próbuję wprowadzić pewne optymalizacje w prywatnym odtwarzacz wideo dla Linuksa mające na celu poprawę wydajności, ponieważ bawiące Pliki MP4 są ciężkie CPU, ponieważ klatek wideo są kodowane w YV12, a OpenGL nie zapewnia natywnego sposobu wyświetlania tego formatu. Teraz jest kod, który działa na procesorze, aby przekonwertować YV12 na RGB, zanim obraz zostanie wysłany do GPU w celu wyświetlenia, a to pochłonie 100% przetwarzania procesora.glPopMatrix() krzyczy „nieobsługiwany format tekstury w setup_hardware_state”

Obecnie badam jak dekodować klatki YV12 bez konieczności pisania modułu cieniującego, aby wykonać konwersję YV12 -> RGB. O ile mi wiadomo, jednym ze sposobów na zrobienie tego jest GL_MESA_ycbcr_texture, podobno obsługiwany przez mój system (zgłoszony przez glxinfo).

W tym pudełku Fedory mam urządzenie wideo ATI Technologies Inc RV610 [Radeon HD 2400 PRO], które jest przyzwoitą kartą wideo. Następnie pobrałem test yuvrect i wprowadziłem kilka zmian, aby zastąpić GL_TEXTURE_RECTANGLE_NV dla tekstury obsługiwanej przez tę kartę: GL_TEXTURE_RECTANGLE_ARB.

Jednak, kiedy wykonać ten zmodyfikowany wniosek wyprowadza:

The MESA driver reports *unsupported texture format in setup_hardware_state* 

zauważyłem, że ten błąd pojawia się, gdy glPopMatrix(); jest wykonywany z Display() zwrotnego. Teraz, nie wydaje mi się to błędem w mojej aplikacji, ponieważ uruchomiłem dokładnie ten sam kod na innym pudełku Fedory (ten sam system), który ma inną kartę wideo: Zintegrowana karta graficzna firmy Intel Corporation Sandy Bridge (rev 09) i działa to pięknie.

Jedyną widoczną różnicą między 2 plikami binarnymi są biblioteki, z którymi są one połączone. Na (problematycznej) karty ATI LDD raporty:

linux-gate.so.1 => (0x00da3000) 
libGL.so.1 => /usr/lib/libGL.so.1 (0x077bd000) 
libGLU.so.1 => /usr/lib/libGLU.so.1 (0x0783b000) 
libglut.so.3 => /usr/lib/libglut.so.3 (0x005a9000) 
libGLEW.so.1.5 => /usr/lib/libGLEW.so.1.5 (0x00aa3000) 
libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0x057e2000) 
libm.so.6 => /lib/libm.so.6 (0x004e4000) 
libgcc_s.so.1 => /lib/libgcc_s.so.1 (0x0053f000) 
libc.so.6 => /lib/libc.so.6 (0x00358000) 
libX11.so.6 => /usr/lib/libX11.so.6 (0x0071b000) 
libXext.so.6 => /usr/lib/libXext.so.6 (0x009c5000) 
libXdamage.so.1 => /usr/lib/libXdamage.so.1 (0x00af7000) 
libXfixes.so.3 => /usr/lib/libXfixes.so.3 (0x00b76000) 
libXxf86vm.so.1 => /usr/lib/libXxf86vm.so.1 (0x0014e000) 
libdrm.so.2 => /usr/lib/libdrm.so.2 (0x00101000) 
libpthread.so.0 => /lib/libpthread.so.0 (0x00510000) 
libdl.so.2 => /lib/libdl.so.2 (0x0052d000) 
libXi.so.6 => /usr/lib/libXi.so.6 (0x00110000) 
/lib/ld-linux.so.2 (0x00337000) 
libxcb.so.1 => /usr/lib/libxcb.so.1 (0x00859000) 
librt.so.1 => /lib/librt.so.1 (0x00534000) 
libXau.so.6 => /usr/lib/libXau.so.6 (0x00854000) 

Tymczasem na karcie Intel można zobaczyć, że jest powiązany z libv4l i niektórych innych bibliotek natomiast ATI nie! Zastanawiam się, czy to ma coś wspólnego z tym problemem mam zachodu:

linux-gate.so.1 => (0x008d6000) 
/usr/lib/libv4l/v4l1compat.so (0x00345000) 
libGL.so.1 => /usr/lib/libGL.so.1 (0x4fb85000) 
libGLU.so.1 => /usr/lib/libGLU.so.1 (0x4fc10000) 
libglut.so.3 => /usr/lib/libglut.so.3 (0x005a9000) 
libGLEW.so.1.5 => /usr/lib/libGLEW.so.1.5 (0x4fc82000) 
libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0x42ca7000) 
libm.so.6 => /lib/libm.so.6 (0x41fbc000) 
libgcc_s.so.1 => /lib/libgcc_s.so.1 (0x42017000) 
libc.so.6 => /lib/libc.so.6 (0x41e30000) 
libv4l1.so.0 => /usr/lib/libv4l1.so.0 (0x00110000) 
libX11.so.6 => /usr/lib/libX11.so.6 (0x421f8000) 
libXext.so.6 => /usr/lib/libXext.so.6 (0x424c0000) 
libXdamage.so.1 => /usr/lib/libXdamage.so.1 (0x42c0e000) 
libXfixes.so.3 => /usr/lib/libXfixes.so.3 (0x42d98000) 
libXxf86vm.so.1 => /usr/lib/libXxf86vm.so.1 (0x432a2000) 
libdrm.so.2 => /usr/lib/libdrm.so.2 (0x4247b000) 
libpthread.so.0 => /lib/libpthread.so.0 (0x41fe8000) 
libdl.so.2 => /lib/libdl.so.2 (0x42005000) 
libXi.so.6 => /usr/lib/libXi.so.6 (0x42748000) 
/lib/ld-linux.so.2 (0x41e0f000) 
libv4l2.so.0 => /usr/lib/libv4l2.so.0 (0x4217c000) 
libxcb.so.1 => /usr/lib/libxcb.so.1 (0x42337000) 
librt.so.1 => /lib/librt.so.1 (0x4200c000) 
libv4lconvert.so.0 => /usr/lib/libv4lconvert.so.0 (0x42357000) 
libXau.so.6 => /usr/lib/libXau.so.6 (0x421f3000) 
libjpeg.so.62 => /usr/lib/libjpeg.so.62 (0x43317000) 

Jeśli chcesz uruchomić przykład poniżej trzeba readtex.c, readtex.h i girl.rgb i skompilować go z: g++ yuvrect.cpp -o yuvrect -lGL -lGLU -lglut -lGLEW

#include <assert.h> 
#include <math.h> 
#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 
#include <GL/glew.h> 
#include <GL/glut.h> 

#include "readtex.c" /* I know, this is a hack. */ 

#define TEXTURE_FILE "girl.rgb" 

static GLfloat Xrot = 0, Yrot = 0, Zrot = 0; 
static GLint ImgWidth, ImgHeight; 
static GLushort *ImageYUV = NULL; 


static void DrawObject(void) 
{ 
    glBegin(GL_QUADS); 

    glTexCoord2f(0, 0); 
    glVertex2f(-1.0, -1.0); 

    glTexCoord2f(ImgWidth, 0); 
    glVertex2f(1.0, -1.0); 

    glTexCoord2f(ImgWidth, ImgHeight); 
    glVertex2f(1.0, 1.0); 

    glTexCoord2f(0, ImgHeight); 
    glVertex2f(-1.0, 1.0); 

    glEnd(); 
} 


static void Display(void) 
{ 
    glClear(GL_COLOR_BUFFER_BIT); 

    glPushMatrix(); 
     glRotatef(Xrot, 1.0, 0.0, 0.0); 
     glRotatef(Yrot, 0.0, 1.0, 0.0); 
     glRotatef(Zrot, 0.0, 0.0, 1.0); 
     DrawObject(); 
    glPopMatrix(); // <--- error message comes from this call 

    glutSwapBuffers(); 
} 


static void Reshape(int width, int height) 
{ 
    glViewport(0, 0, width, height); 
    glMatrixMode(GL_PROJECTION); 
    glLoadIdentity(); 
    glFrustum(-1.0, 1.0, -1.0, 1.0, 10.0, 100.0); 
    glMatrixMode(GL_MODELVIEW); 
    glLoadIdentity(); 
    glTranslatef(0.0, 0.0, -15.0); 
} 


static void Key(unsigned char key, int x, int y) 
{ 
    (void) x; 
    (void) y; 
    switch (key) { 
     case 27: 
     exit(0); 
     break; 
    } 
    glutPostRedisplay(); 
} 


static void SpecialKey(int key, int x, int y) 
{ 
    float step = 3.0; 
    (void) x; 
    (void) y; 

    switch (key) { 
     case GLUT_KEY_UP: 
     Xrot += step; 
     break; 
     case GLUT_KEY_DOWN: 
     Xrot -= step; 
     break; 
     case GLUT_KEY_LEFT: 
     Yrot += step; 
     break; 
     case GLUT_KEY_RIGHT: 
     Yrot -= step; 
     break; 
    } 
    glutPostRedisplay(); 
}   

static void Init(int argc, char *argv[]) 
{ 
    GLuint texObj = 100; 
    const char *file; 

    printf("Checking GL_ARB_texture_rectangle\n"); 
    if (!glutExtensionSupported("GL_ARB_texture_rectangle")) { 
     printf("Sorry, GL_NV_texture_rectangle is required\n"); 
     exit(0); 
    } 

    printf("Checking GL_MESA_ycbcr_texture\n"); 
    if (!glutExtensionSupported("GL_MESA_ycbcr_texture")) { 
     printf("Sorry, GL_MESA_ycbcr_texture is required\n"); 
     exit(0); 
    } 

    glPixelStorei(GL_UNPACK_ALIGNMENT, 1); 

    glBindTexture(GL_TEXTURE_RECTANGLE_ARB, texObj); 
#ifdef LINEAR_FILTER 
    /* linear filtering looks much nicer but is much slower for Mesa */ 
    glTexParameteri(GL_TEXTURE_RECTANGLE_ARB, GL_TEXTURE_MIN_FILTER, GL_LINEAR); 
    glTexParameteri(GL_TEXTURE_RECTANGLE_ARB, GL_TEXTURE_MAG_FILTER, GL_LINEAR); 
#else 
    glTexParameteri(GL_TEXTURE_RECTANGLE_ARB, GL_TEXTURE_MIN_FILTER, GL_NEAREST); 
    glTexParameteri(GL_TEXTURE_RECTANGLE_ARB, GL_TEXTURE_MAG_FILTER, GL_NEAREST); 
#endif 

    if (argc > 1) 
     file = argv[1]; 
    else 
     file = TEXTURE_FILE; 

    ImageYUV = LoadYUVImage(file, &ImgWidth, &ImgHeight); 
    if (!ImageYUV) { 
     printf("Couldn't read %s\n", TEXTURE_FILE); 
     exit(0); 
    } 

    printf("Image: %dx%d\n", ImgWidth, ImgHeight); 

    printf("Calling glTexImage2D\n"); 
    glTexImage2D(GL_TEXTURE_RECTANGLE_ARB, 0, 
       GL_YCBCR_MESA, ImgWidth, ImgHeight, 0, 
       GL_YCBCR_MESA, GL_UNSIGNED_SHORT_8_8_MESA, ImageYUV); 
    printf("Called glTexImage2D\n"); 
    assert(glGetError() == GL_NO_ERROR); 
    printf("* Assert #1\n"); 

    glTexSubImage2D(GL_TEXTURE_RECTANGLE_ARB, 0, 
        0, 0, ImgWidth, ImgHeight, 
        GL_YCBCR_MESA, GL_UNSIGNED_SHORT_8_8_MESA, ImageYUV); 

    assert(glGetError() == GL_NO_ERROR); 
    printf("* Assert #2\n"); 

    glTexEnvi(GL_TEXTURE_ENV, GL_TEXTURE_ENV_MODE, GL_MODULATE); 

    glEnable(GL_TEXTURE_RECTANGLE_ARB); 

    glShadeModel(GL_FLAT); 
    glClearColor(0.3, 0.3, 0.4, 1.0); 

    if (argc > 1 && strcmp(argv[1], "-info")==0) { 
     printf("GL_RENDERER = %s\n", (char *) glGetString(GL_RENDERER)); 
     printf("GL_VERSION = %s\n", (char *) glGetString(GL_VERSION)); 
     printf("GL_VENDOR  = %s\n", (char *) glGetString(GL_VENDOR)); 
     printf("GL_EXTENSIONS = %s\n", (char *) glGetString(GL_EXTENSIONS)); 
    } 
} 


int main(int argc, char *argv[]) 
{ 
    glutInit(&argc, argv); 
    glutInitWindowSize(300, 300); 
    glutInitWindowPosition(0, 0); 
    glutInitDisplayMode(GLUT_RGB | GLUT_DOUBLE); 
    glutCreateWindow(argv[0]); 
    glewInit(); 

    Init(argc, argv); 

    glutReshapeFunc(Reshape); 
    glutKeyboardFunc(Key); 
    glutSpecialFunc(SpecialKey); 
    glutDisplayFunc(Display); 

    glutMainLoop(); 
    return 0; 
} 

Wszelkie wskazówki, jak rozwiązać ten problem, chłopaki?

+0

Czy to rzeczywiście ** glPopMatrix ** powoduje błąd, czy komunikat o błędzie jest wyświetlany tylko po ** DrawObject **? W Fedorze możesz potrzebować pakietu lib4vl-devel i/lub patch (upgrade) MESA. Wydaje się mało prawdopodobne, by Mesa miała zależność od kodowania przestrzeni kolorów, ale może warto spróbować. –

+0

GDB mówi mi, że to 'glPopMatrix()' powoduje błąd msg. – karlphillip

Odpowiedz

5

może to najprawdopodobniej zostać uznane za błąd sterownika lub coś podobnego. Nie pomogę ci z tym. Jednak nie warto rezygnować z cieniowania. Używając shaderów, możesz zapomnieć o GL_MESA_ycbcr_texture i uczynić swoją aplikację bardziej kompatybilną.

Będziemy używać zwykłego starego formatu GL_LUMINANCE_ALPHA, więc ładuje obraz stać:

glTexImage2D(GL_TEXTURE_RECTANGLE_ARB, 0, 
      GL_LUMINANCE_ALPHA, ImgWidth, ImgHeight, 0, 
      GL_LUMINANCE_ALPHA, GL_UNSIGNED_BYTE, ImageYUV); 

glTexSubImage2D(GL_TEXTURE_RECTANGLE_ARB, 0, 
       0, 0, ImgWidth, ImgHeight, 
       GL_LUMINANCE_ALPHA, GL_UNSIGNED_BYTE, ImageYUV); 

Następnie o shaderów:

static const char *p_s_vertex_shader = 
    "varying vec2 t;" 
    "void main()" 
    "{" 
    " t = gl_MultiTexCoord0.xy;" 
    " gl_Position = ftransform();" 
    "}"; 
static const char *p_s_fragment_shader = 
    "#extension GL_ARB_texture_rectangle : enable\n" 
    "varying vec2 t;" 
    "uniform sampler2DRect tex;" 
    "void main()" 
    "{" 
    " vec2 tcEven = vec2(floor(t.x * .5) * 2.0, t.y);" 
    " vec2 tcOdd = vec2(tcEven.x + 1.0, t.y);" 
    " float Cb = texture2DRect(tex, tcEven).x - .5;" 
    " float Cr = texture2DRect(tex, tcOdd).x - .5;" 
    " float y = texture2DRect(tex, t).w;" // redundant texture read optimized away by texture cache 
    " float r = y + 1.28033 * Cr;" 
    " float g = y - .21482 * Cb - .38059 * Cr;" 
    " float b = y + 2.12798 * Cb;" 
    " gl_FragColor = vec4(r, g, b, 1.0);" 
    "}"; 
int v = glCreateShader(GL_VERTEX_SHADER); 
int f = glCreateShader(GL_FRAGMENT_SHADER); 
int p = glCreateProgram(); 
glShaderSource(v, 1, &p_s_vertex_shader, 0); 
glShaderSource(f, 1, &p_s_fragment_shader, 0); 
glCompileShader(v); 
//CheckShader(v); 
glCompileShader(f); 
//CheckShader(f); 
glAttachShader(p, v); 
glAttachShader(p, f); 
glLinkProgram(p); 
glUseProgram(p); 
glUniform1i(glGetUniformLocation(p, "tex"), 0); 

to przyjdą po tekstur, gdzieś na końcu W tym(). I to wszystko, działa jak urok. Do debugowania, to chyba lepiej obejmują CheckShader(), a także (zgłasza błędy kompilacji w shaderów):

bool CheckShader(int n_shader_object) 
{ 
    int n_tmp; 
    glGetShaderiv(n_shader_object, GL_COMPILE_STATUS, &n_tmp); 
    bool b_compiled = n_tmp == GL_TRUE; 
    int n_log_length; 
    glGetShaderiv(n_shader_object, GL_INFO_LOG_LENGTH, &n_log_length); 
    // query status ... 

    if(n_log_length > 1) { 
     char *p_s_temp_info_log; 
     if(!(p_s_temp_info_log = (char*)malloc(n_log_length))) 
      return false; 
     int n_tmp; 
     glGetShaderInfoLog(n_shader_object, n_log_length, &n_tmp, 
      p_s_temp_info_log); 
     assert(n_tmp <= n_log_length); 

     fprintf(stderr, "%s\n", p_s_temp_info_log); 
     free(p_s_temp_info_log); 
    } 
    // get/concat info-log 

    return b_compiled; 
} 

Wersja shader będzie prawdopodobnie trochę wolniej niż sprzętowej zoptymalizowany wersji, ale powiedziałbym, że nie ma się czym martwić.

Jeśli zdecydujesz się podać kod spróbować i mieć żadnych problemów z nim, daj mi znać ...

EDIT: Tam faktycznie było problemu działa to na ATi, w końcu okazało się, że tam był błąd przechodząc zmienną zmienną „T”, innymi słowy to nie działa:

static const char *p_s_vertex_shader = 
    "varying vec2 t;" 
    "void main()" 
    "{" 
    " t = gl_MultiTexCoord0.xy;" 
    " gl_Position = ftransform();" 
    "}"; 
static const char *p_s_fragment_shader = 
    "#extension GL_ARB_texture_rectangle : enable\n" 
    "varying vec2 t;" 
    "uniform sampler2DRect tex;" 
    "void main()" 
    "{" 
    " gl_FragColor = texture2DRect(tex, t);" 
    "}"; 

i łatwo rozwiązać ten problem, można po prostu usunąć vertex shader i niech stałym rurociągiem zapisu współrzędnych tekstur. Działa to również na ATi:

static const char *p_s_vertex_shader = null; // no vertex shader 
static const char *p_s_fragment_shader = 
    "#extension GL_ARB_texture_rectangle : enable\n" 
    "uniform sampler2DRect tex;" 
    "void main()" 
    "{" 
    " vec2 t = gl_TexCoord[0];" // use fixed pipeline output 
    " gl_FragColor = texture2DRect(tex, t);" 
    "}"; 
+0

Chciałbym zobaczyć kod w moim pytaniu, używając tych rzeczy. Próbowałem, ale moja wersja nie zadziałała, na ekranie pojawił się jasnożółty prostokąt, a wywołanie funkcji 'CheckShader()' nie zwróciło żadnych błędów. – karlphillip

+0

Masz na myśli pełny kod źródłowy? Zobacz tutaj: http://www.luki.webzdarma.cz/up/YCbCrShader.cpp (jest to cały kod w jednym pliku, trochę bałaganiarski, ale działa dla mnie). Nie jestem pewien, czy coś zmieniłem ... więc spróbuj go uruchomić, a jeśli to nie zadziała, spróbuję wymyślić coś innego ... –

+0

Twój kod działa na innych komputerach z * NVIDIA GeForce 7300 * (Windows) i * zintegrowany kontroler grafiki Sandy Bridge firmy Intel Corporation (rev 09) * (Fedora Linux), ale nie wyświetla niczego na * urządzeniu wideo ATI Technologies Inc RV610 [Radeon HD 2400 PRO] * (Fedora Linux), które jest bardzo dziwne. Nie drukuje również błędów. Ten problem jest prawdopodobnie związany ze sterownikami karty graficznej lub wadliwym GPU. Czy sie zgadzasz? – karlphillip