Jak przekonwertować UIImage do CVPixelBuffer

Question

Nowy framework CoreML firmy Apple ma funkcję przewidywania, która ma CVPixelBuffer. Aby dokonać klasyfikacji UIImage, należy dokonać konwersji między tymi dwoma.

kod konwersji dostałem od inżyniera Apple:

1 // image has been defined earlier 
2 
3  var pixelbuffer: CVPixelBuffer? = nil 
4 
5  CVPixelBufferCreate(kCFAllocatorDefault, Int(image.size.width), Int(image.size.height), kCVPixelFormatType_OneComponent8, nil, &pixelbuffer) 
6  CVPixelBufferLockBaseAddress(pixelbuffer!, CVPixelBufferLockFlags(rawValue:0)) 
7 
8  let colorspace = CGColorSpaceCreateDeviceGray() 
9  let bitmapContext = CGContext(data: CVPixelBufferGetBaseAddress(pixelbuffer!), width: Int(image.size.width), height: Int(image.size.height), bitsPerComponent: 8, bytesPerRow: CVPixelBufferGetBytesPerRow(pixelbuffer!), space: colorspace, bitmapInfo: 0)! 
10 
11 bitmapContext.draw(image.cgImage!, in: CGRect(x: 0, y: 0, width: image.size.width, height: image.size.height)) 

To rozwiązanie jest w szybki i jest na skali szarości. Zmiany, które należy wprowadzić w zależności od typu obrazu, to:

• Linia 5 | kCVPixelFormatType_OneComponent8 do innego OSType (dla RGB)
• Linia 8 | colorSpace do innego CGColorSpace (CGColorSpaceCreateDeviceRGB dla RGB)
• Linia 9 | bitsPerComponent do liczby bitów na piksel pamięci (32 dla RGB)
• Linia 9 | bitmapInfo do niezerową CGBitmapInfo własności (kCGBitmapByteOrderDefault jest domyślnym)

Answer 1

Można przyjrzeć się tym tutorialu https://www.hackingwithswift.com/whats-new-in-ios-11, kod jest w Swift 4

func buffer(from image: UIImage) -> CVPixelBuffer? { 
    let attrs = [kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue, kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue] as CFDictionary 
    var pixelBuffer : CVPixelBuffer? 
    let status = CVPixelBufferCreate(kCFAllocatorDefault, Int(image.size.width), Int(image.size.height), kCVPixelFormatType_32ARGB, attrs, &pixelBuffer) 
    guard (status == kCVReturnSuccess) else { 
    return nil 
    } 

    CVPixelBufferLockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags(rawValue: 0)) 
    let pixelData = CVPixelBufferGetBaseAddress(pixelBuffer!) 

    let rgbColorSpace = CGColorSpaceCreateDeviceRGB() 
    let context = CGContext(data: pixelData, width: Int(image.size.width), height: Int(image.size.height), bitsPerComponent: 8, bytesPerRow: CVPixelBufferGetBytesPerRow(pixelBuffer!), space: rgbColorSpace, bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue) 

    context?.translateBy(x: 0, y: image.size.height) 
    context?.scaleBy(x: 1.0, y: -1.0) 

    UIGraphicsPushContext(context!) 
    image.draw(in: CGRect(x: 0, y: 0, width: image.size.width, height: image.size.height)) 
    UIGraphicsPopContext() 
    CVPixelBufferUnlockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags(rawValue: 0)) 

    return pixelBuffer 
}