Parsowanie klatka po klatce od .mov przy użyciu ffmpeg

Question

Próbuję parsować klatki H.264 z pliku .mov. Myślę, że doszedłem do wniosku, że mov.c z AVFormat - część FFMPEG jest drogą do zrobienia. Ale mov.c ma ~ 2600 linii obok nieskomentowanego kodu. Szukam przykładów użycia FFMPEG, szczególnie analizowania struktury dowolnego typu pliku. nie ma znaczenia, czy jest to MPEG4 czy Quicktime Movie, ponieważ są one dość podobne pod względem struktury.

jeśli nie ma istniejących przykładów (nie mogę znaleźć) może ktoś go użył i może podać kilka linii kodu lub wyjaśnić, jak zacząć?

Co usiłuję zrobić: używam AVCaptureSession uchwycić próbki z kamerą, próbki te są następnie kodowane w H264 i zapisane do pliku za pomocą AVAssetsWriter, AVAssetsWriterInput i AVAssetsWriterInputPixelBufferAdaptor. Powodem jest to, że nie mogę uzyskać dostępu do sprzętu kodowania H264 bezpośrednio, ponieważ jabłko nie pozwoli na to. Co ja teraz trzeba zrobić (Nie sądzę pewien) jest analizować out:

The „MDAT” -atom (dane film, nie może być więcej niż jeden chyba) z pliku .mov. następnie "-atom, a następnie w komórce wideo (próbka danych wideo może być więcej niż jedna). Myślę, że będzie kilka atomów, które uważam za ramy. będą one typu "avc1" (to jest typ dla H264). Proszę, popraw mnie w tym, ponieważ jestem całkiem pewien, że nie dostałem tego wszystkiego poprawnie, ale.

moje pytanie brzmi, jak mam zamiar parsować się pojedynczych klatek. Czytałem the documentation i patrzyłem na iFrameExtractor (co nie jest bardzo pomocne, ponieważ dekoduje ramki). Myślę, że zrozumiałem to poprawnie, kiedy mam używać mov.c z FFMPEG-AVFormat, ale nie jestem pewien.

Edit: Jestem teraz próbuje tak:

1. uruchomić nieznacznie obniżonej funkcji init i iFrameExtractor który znajdzie się videostream w .mov pliku.

2. uzyskać dane na ramie tak:

   AVPacket packet; 
   av_read_frame(pFormatCtx, &packet); 
   NSData *frame; 
   if(packet.stream_index == videoStream){ 
       frame = [NSData dataWithBytes:packet.data length:packet.size]; 
   } 
   videoStream++; 
   av_free_packet(&packet); 
   return frame; 
   

i następnie przekazać go do podklasy NSOperation gdzie jest utrzymywany w oczekiwaniu na przesłaniu. , ale otrzymuję EXC_BAD_ACC, czy robię coś nie tak podczas kopiowania danych z ramki? jakieś pomysły. otrzymuję EXC _... kiedy próbuję ustawić zmienną klasy NSData* frame używając jej (nonatomic, retain) -property. (Mówi EXC_BAD_ACC w wierszu syntetyzować)

Answer 1

używam następujących analizować każdą klatkę z pliku mov.

-(NSData *)nextFrame { 
    AVPacket packet; 
    NSData *frame = nil; 

    while(!frame && av_read_frame(pFormatCtx, &packet)>=0) { 

     if(packet.stream_index == streamNo) { 
      frame = [[[NSData alloc] initWithBytes:packet.data length:packet.size] autorelease]; 
     } 
     av_free_packet(&packet); 
    } 
    return frame; 
} 

chociaż uważaj, ponieważ av_read_frame nie weryfikuje ramek, co odbywa się w etapie dekodowania. oznacza to, że zwrócone "ramki" mogą zawierać dodatkowe informacje, które nie są częścią rzeczywistej ramki.

do init AVFormatContext * pFormatCtx i AVCodecContext * pCodecCtx używam tego kodu (co moim zdaniem jest pochodzący z przykładowym kodem Martina Böhmego):

AVCodec *pCodec; 

    // Register all formats and codecs 
    av_register_all(); 

    // Open video file 
    if(avformat_open_input(&pFormatCtx, [moviePath cStringUsingEncoding:NSASCIIStringEncoding], NULL, NULL)!=0) 
     goto initError; // Couldn't open file 

    // Retrieve stream information 
    if(avformat_find_stream_info(pFormatCtx,NULL)<0) 
     goto initError; // Couldn't find stream information 

    // Find the video stream 
    streamNo = -1; 
    for(int i=0; i<pFormatCtx->nb_streams; i++){ 
     if(pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) 
     { 
      streamNo = i; 
      break; 
     } 
    } 
    if(streamNo == -1) 
     goto initError; // Didn't find a video stream 

    // Get a pointer to the codec context for the video stream 
    pCodecCtx=pFormatCtx->streams[streamNo]->codec; 

    // Find the decoder for the video stream 
    pCodec=avcodec_find_decoder(pCodecCtx->codec_id); 
    if(pCodec==NULL) 
     goto initError; // Codec not found 

    // Open codec 
    if(avcodec_open2(pCodecCtx, pCodec, NULL)<0) 
     goto initError; // Could not open codec 

    return self; 

initError: 
    NSLog(@"initError in VideoFrameExtractor"); 
    [self release]; 
    return nil; 

nadzieję, że to pomoże komuś w przyszłości.

Answer 2

Jest to całkiem dobry tutorial na temat korzystania libavcodec/muxera here. Wygląda na to, że interesuje Cię funkcja DoSomethingWithTheImage(), którą pozostawili niezatwierdzeni.

Answer 3

Jeśli przesyłasz strumień H264 na iOS, musisz posegmentować transmisję strumieniową (np. Przesyłanie strumieniowe na żywo w Apple).

Tutaj jest projektem open source: http://code.google.com/p/httpsegmenter/