Anthropic uruchamia Message Batches API
Anthropic ogłosiło Message Batches API 8 października 2024 roku. Rozwiązanie jest przeznaczone do zadań, które nie wymagają natychmiastowej odpowiedzi, takich jak analiza, klasyfikacja i masowe przetwarzanie treści.
Co ogłoszono
Według Anthropic jedna partia może zawierać do 10 000 zapytań i jest przetwarzana asynchronicznie. Firma podaje, że wywołania wsadowe kosztują o 50% mniej niż standardowe zapytania API.
Gdzie przetwarzanie wsadowe ma sens
Wzbogacanie danych produktowych, klasyfikacja dokumentów, streszczanie transkrypcji i testy jakości często nie wymagają odpowiedzi w czasie rzeczywistym. Przetwarzanie ich partiami ułatwia planowanie kosztu i obciążenia.
Co trzeba zbudować wokół API
Środowisko produkcyjne nadal potrzebuje stanów kolejki, ponownych prób, idempotencji, kontroli jakości i jasnej obsługi błędów. Sam endpoint jest tylko jednym z elementów systemu.
Źródło. Na Postmanual streszczamy temat i interpretujemy znaczenie operacyjne.
Anthropic