Jak przesyłać strumieniowo dane MP3 przez WebSockets za pomocą node.js i socket.io?

Question

Mam problemy z przesyłaniem danych MP3 przez WebSocket za pomocą node.js i socket.io. Wszystko wydaje się działać, ale dekodeAudioData nie gra ze mną fair.

To jest mój serwer zabawki:

var app = require('http').createServer(handler) 
    , io = require('socket.io').listen(app) 
    , fs = require('fs') 

app.listen(8081); 

function handler (req, res) { 
    res.writeHead(200, { 
     'Content-Type': 'text/html', 
    }); 
    res.end('Hello, world!'); 
} 

io.configure('development', function() { 
    io.set('log level', 1); 

    io.set('transports', [ 'websocket' ]); 
}); 

io.sockets.on('connection', function (socket) { 
    console.log('connection established'); 

    var readStream = fs.createReadStream("test.mp3", 
             {'flags': 'r', 
              'encoding': 'binary', 
              'mode': 0666, 
              'bufferSize': 64 * 1024}); 
    readStream.on('data', function(data) { 
     console.log(typeof data); 
     console.log('sending chunk of data') 
     socket.send(data); 
    }); 

    socket.on('disconnect', function() { 
     console.log('connection droped'); 
    }); 
}); 

console.log('Server running at http://127.0.0.1:8081/'); 

Klient otrzymuje dane jako typu string ale chcę karmić danych do decodeAudioData i wydaje się, że nie lubi sznurki. Wezwanie do decodeAudioData skutkuje następującym komunikatem o błędzie:

Uncaught Error: SYNTAX_ERR: DOM Exception 12 

myślę decodeAudioData potrzebuje danych przechowywanych w ArrayBuffer. Czy istnieje sposób na konwersję danych?

Jest to kod klienta:

<script src="http://127.0.0.1:8081/socket.io/socket.io.js"></script> 
<script> 
    var audioBuffer = null; 
    var context = null; 
    window.addEventListener('load', init, false); 
    function init() { 
     try { 
      context = new webkitAudioContext(); 
     } catch(e) { 
      alert('Web Audio API is not supported in this browser'); 
     } 
    } 

    function decodeHandler(buffer) { 
     console.log(data); 
    } 

    var socket = io.connect('http://127.0.0.1:8081'); 
    socket.on('message', function (data) { 
      // HERE IS THE PROBLEM 
     context.decodeAudioData(data, decodeHandler, function(e) { console.log(e); }); 
    }); 
</script> 

Answer 1

Znalazłem sposób na strumień danych MP3 poprzez WebSockets siebie.

Jednym z problemów był rozmiar porcji danych MP3. Wygląda na to, że interfejs Web Audio API musi być zasilany prawidłowymi fragmentami MP3, aby móc dekodować dane. Prawdopodobnie nie jest to zaskakujące. W mojej aplikacji demonstracyjnej udostępniam zestaw plików fragmentów MP3.

Jakość dźwięku również nie jest doskonała. Mam pewne subtelne usterki. Udało mi się to poprawić, wysyłając większe porcje danych MP3, ale wciąż są drobne trzaski.

EDYCJA: Udało mi się poprawić jakość dźwięku. Wygląda na to, że metoda dekodowania Web Audio nie jest tak naprawdę zaprojektowana do dekodowania ciągłych fragmentów danych MP3.

Answer 2

W twoim przypadku context.decodeAudioData oczekuje ArrayBuffer danych binarnych, chciałbym zaproponować konwersja klocek na ciąg base64, a następnie do ArrayBuffer stronie klienta dla najbardziej przewidywalne wyniki. This script powinien być dobrym punktem wyjścia do dekodowania po stronie klienta z base64 danych podzielonych na porcje.

Dodawanie linię data = Base64Binary.decodeArrayBuffer(data); tuż po otrzymaniu danych (base-64 zakodowany ciąg) by rade ...

Answer 3

Wygląda na to, że socket.io nadal nie obsługuje transferu binarnego. Tak więc można tutaj użyć websocket.io.

1. https://github.com/LearnBoost/socket.io/issues/511#issuecomment-2370129
2. https://github.com/LearnBoost/socket.io/issues/680#issuecomment-3083490