Czy istnieje sposób ręcznego ustawienia identyfikatora dokumentu ElasticSearch podczas wstawiania za pomocą programu AWS Kinesis Firehose?

Question

Mam zestaw Strumień Ogniskowej AWS Kinesis skonfigurowany do przesyłania danych do klastra AWS ElasticSearch i mogę z powodzeniem wstawiać dokumenty, wysyłając je do strumienia Firehose, który ładuje je do ElasticSearch.

Ale chciałbym móc ręcznie określić/ustawić wartość dokumentu id podczas wysyłania go do strumienia ogniowego. Z powodzeniem używam pakietu AWS PHP SDK do przesyłania danych do Firehose, po prostu nie mogę się dowiedzieć, czy istnieje sposób ręcznego ustawienia dokumentu id.

$firehoseParams = [ 
    'DeliveryStreamName' => 'myStreamName', // REQUIRED 
    'Record' => [ // REQUIRED 
     'Data' => '{"json_encoded": "data", ...}', // REQUIRED 
    ], 
]; 
$firehoseResult = $this->_firehoseClient->putRecord($firehoseParams); 

Próbowałem ustawienie id, _id i esDocumentId wartości w danych JSON, wszystko bezskutecznie.

Ktoś ma jakieś pomysły?

Answer 1

Mamy dokładnie ten sam problem i przykro mi jest mówić, że w tej chwili nie ma dobrego rozwiązania. Wsparcie Amazon potwierdziło, że otrzymało wiele wniosków o to i że obecnie pracuje nad rozwiązaniem.