Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
IP Insights
Amazon SageMaker AI IP Insights è un algoritmo di apprendimento senza supervisione che apprende i modelli di utilizzo degli indirizzi. IPv4 È progettato per acquisire associazioni tra IPv4 indirizzi e varie entità, come numeri di utente IDs o di account. Puoi ad esempio utilizzarlo per identificare un utente che tenta di accedere a un servizio Web da un indirizzo IP anomalo oppure puoi usarlo per identificare un account che sta tentando di creare risorse di calcolo da un indirizzo IP insolito. I modelli IP Insight possono essere ospitati in un endpoint per effettuare previsioni in tempo reale o essere utilizzati per l'elaborazione di trasformazioni in batch.
SageMaker AI IP Insights acquisisce i dati storici sotto forma di coppie (entità, IPv4 indirizzo) e apprende i modelli di utilizzo dell'IP di ciascuna entità. Quando viene interrogato con un evento (entità, IPv4 indirizzo), un modello SageMaker AI IP Insights restituisce un punteggio che deduce quanto sia anomalo il modello dell'evento. Ad esempio, quando un utente tenta di accedere da un indirizzo IP, se il punteggio di IP Insights è sufficientemente alto, un server di accesso Web può decidere di attivare un sistema di autenticazione a più fattori. Nelle soluzioni più avanzate, puoi includere il punteggio di IP Insights in un altro modello di Machine Learning. Ad esempio, puoi combinare il punteggio IP Insight con altre funzionalità per classificare i risultati di un altro sistema di sicurezza, come quelli di Amazon GuardDuty.
L'algoritmo SageMaker AI IP Insights può anche apprendere le rappresentazioni vettoriali degli indirizzi IP, note come incorporamenti. Puoi utilizzare gli incorporamenti con codifica vettoriale come caratteristiche nelle attività di Machine Learning downstream che utilizzano le informazioni osservate negli indirizzi IP. Ad esempio, è possibile utilizzarli in attività quali la valutazione delle somiglianze tra gli indirizzi IP nelle attività di visualizzazione e cluster.
Argomenti
Interfaccia di input/output per l'algoritmo IP Insights
Addestramento e convalida
L'algoritmo SageMaker AI IP Insights supporta i canali di dati di addestramento e convalida. Utilizza il canale di convalida opzionale per calcolare un punteggio area-under-curve (AUC) su una strategia di campionamento negativo predefinita. La AUC metrica convalida l'efficacia con cui il modello discrimina tra campioni positivi e negativi. I tipi di contenuto dei dati di addestramento e convalida devono essere nel formato text/csv
. La prima colonna dei CSV dati è una stringa opaca che fornisce un identificatore univoco per l'entità. La seconda colonna è un IPv4 indirizzo in notazione decimale. IP Insights attualmente supporta solo la modalità File. Per maggiori informazioni ed esempi, consulta Formati di dati di addestramento Insights IP.
Inferenza
Per inferenza, l'algoritmo IP Insights supporta i tipi di contenuti di dati text/csv
, application/json
e application/jsonlines
. Per ulteriori informazioni sui formati di dati comuni per l'inferenza forniti dall'IA, vedere. SageMaker Formati di dati comuni per l'inferenza L'inferenza di IP Insights restituisce l'output formattato come application/json
o application/jsonlines
. Ogni record nei dati di output contiene il dot_product
(punteggio di compatibilità) corrispondente per ogni punto di dati di input. Per maggiori informazioni ed esempi, consulta Formati di dati di inferenza di IP Insights.
EC2Istanza consigliata per l'algoritmo IP Insights
L'algoritmo SageMaker AI IP Insights può essere eseguito su entrambe GPU le CPU istanze. Per i lavori di formazione, consigliamo di utilizzare le GPU istanze. Tuttavia, per determinati carichi di lavoro con set di dati di formazione di grandi dimensioni, le CPU istanze distribuite potrebbero ridurre i costi di formazione. Per l'inferenza, consigliamo di utilizzare le istanze. CPU IP Insights supporta le famiglie P2, P3, G4dn e G5. GPU
GPUIstanze per l'algoritmo IP Insights
IP Insights supporta tutte le versioni disponibili. GPUs Se hai bisogno di velocizzare la formazione, ti consigliamo di iniziare con una singola GPU istanza, ad esempio ml.p3.2xlarge, e poi passare a un GPU multiambiente, come ml.p3.8xlarge e ml.p3.16xlarge. GPUsI mini batch di dati di allenamento vengono suddivisi automaticamente in più gruppi. Se si passa da uno GPU a uno multiploGPUs, questi mini_batch_size
vengono divisi equamente per il numero di GPUs utenti utilizzati. Puoi aumentare il valore del mini_batch_size
per compensare.
CPUIstanze per l'algoritmo IP Insights
Il tipo di CPU istanza consigliato dipende in gran parte dalla memoria disponibile dell'istanza e dalle dimensioni del modello. La dimensione del modello è determinata da due iperparametri: vector_dim
e num_entity_vectors
. La dimensione massima del modello supportata è 8 GB. La tabella seguente elenca i tipi di EC2 istanza tipici che è possibile distribuire in base a questi parametri di input per modelli di varie dimensioni. Nella tabella 1, il valore per vector_dim
nell'intervallo della prima colonna compreso tra 32 e 2048 e i valori per num_entity_vectors
nell'intervallo della prima riga compreso tra 10.000 e 50.000.000.
vector_dim \
num_entity_vectors . |
10.000 | 50.000 | 100.000 | 500.000 | 1.000.000 | 5.000.000 | 10.000.000 | 50.000.000 |
---|---|---|---|---|---|---|---|---|
32 |
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.xlarge |
ml.m5.2xlarge |
ml.m5.4xlarge |
|
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.2xlarge |
ml.m5.2xlarge |
|
|
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.2xlarge |
ml.m5.4xlarge |
|
|
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.xlarge |
ml.m5.4xlarge |
||
|
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.2xlarge |
|||
|
ml.m5.large |
ml.m5.large |
ml.m5.large |
ml.m5.xlarge |
ml.m5.4xlarge |
|||
|
ml.m5.large |
ml.m5.large |
ml.m5.xlarge |
ml.m5.xlarge |
I valori degli iperparametri mini_batch_size
, num_ip_encoder_layers
, random_negative_sampling_rate
e shuffled_negative_sampling_rate
influisce anche sulla quantità di memoria richiesta. Se questi valori sono elevati, potrebbe essere necessario utilizzare un tipo di istanza più grande del normale.
Notebook di esempio di IP Insights
Per un taccuino di esempio che mostra come addestrare l'algoritmo SageMaker AI IP Insights ed eseguire inferenze con esso, vedi An Introduction to the SageMaker AIIP Insights