Erstellen eines Lookalike-Segments

So erstellen Sie ein Lookalike-Segment in AWS Clean Rooms

1. Melden Sie sich bei der an AWS-Managementkonsole und öffnen Sie die AWS Clean Rooms Konsole mit Ihrem AWS-Konto (falls Sie dies noch nicht getan haben).

2. Wählen Sie im linken Navigationsbereich Kollaborationen aus.

3. Wählen Sie auf der Registerkarte Mit aktiver Mitgliedschaft eine Zusammenarbeit aus.

4. Wählen Sie auf der Registerkarte ML-Modelle die Option Lookalike-Segment erstellen aus.

5. Wählen Sie auf der Seite Lookalike-Segment erstellen für Zugeordnetes konfiguriertes Lookalike-Modell das zugehörige konfigurierte Lookalike-Modell aus, das für dieses Lookalike-Segment verwendet werden soll.

6. Geben Sie für Lookalike-Segmentdetails einen Namen und optional eine Beschreibung ein.

7. Wählen Sie für Seed-Profile Ihre Seed-Methode, indem Sie eine Option auswählen und dann die empfohlene Aktion ausführen.

   Option	Empfohlene Aktion
   Amazon S3-Pfad	Wählen Sie einen Amazon S3-Standort aus. (Optional) Wählen Sie Startprofile in die Ausgabe einbeziehen aus.
   SQL-Abfrage	Schreiben Sie eine SQL-Abfrage und verwenden Sie ihre Ergebnisse als Startdaten.
   Vorlage für die Analyse	Wählen Sie eine Analysevorlage aus der Dropdownliste aus und verwenden Sie die Ergebnisse, die mit einer Analysevorlage erstellt wurden.

8. Wählen Sie den Worker-Typ aus, der beim Erstellen dieser Datenquelle verwendet werden soll. Der Standard-Worker-Typ ist CR.1X. Geben Sie die Anzahl der zu verwendenden Arbeitskräfte an. Die Standardeinstellung ist Worker Nummer 16. So geben Sie Spark-Eigenschaften an:

   1. Erweitern Sie Spark-Eigenschaften.

   2. Wählen Sie Spark-Eigenschaften hinzufügen.

   3. Wählen Sie im Dialogfeld mit den Spark-Eigenschaften einen Eigenschaftsnamen aus der Dropdownliste aus und geben Sie einen Wert ein.

   Die folgenden Tabellen enthalten eine Definition für jede Eigenschaft.

   Weitere Informationen zu Spark-Eigenschaften finden Sie unter Spark-Eigenschaften in der Apache Spark-Dokumentation.

   Anmerkung

   Sie können maximal 50 Spark-Eigenschaften konfigurieren. Jeder Eigenschaftswert kann bis zu 500 Zeichen lang sein.

   Eigenschaftenname	Description	Standardwert
   spark.task.maxFailures	Steuert, wie oft eine Aufgabe hintereinander fehlschlagen kann, bevor der Job fehlschlägt. Erfordert einen Wert, der größer oder gleich 1 ist. Die Anzahl der zulässigen Wiederholungen entspricht diesem Wert minus 1. Die Anzahl der Fehler wird zurückgesetzt, wenn ein Versuch erfolgreich ist. Fehler bei verschiedenen Aufgaben summieren sich nicht bis zu diesem Limit.	4
   spark.sql.files.max PartitionBytes	Legt die maximale Anzahl von Byte fest, die beim Lesen aus dateibasierten Quellen wie Parquet, JSON und ORC in eine einzelne Partition gepackt werden sollen.	128 MB
   spark.hadoop.fs.s3.max versucht es erneut	Legt die maximale Anzahl von Wiederholungsversuchen für Amazon S3-Dateioperationen fest.	(Keine)
   spark.network.timeout	Legt das Standard-Timeout für alle Netzwerkinteraktionen fest. Überschreibt die folgenden Timeout-Einstellungen, wenn sie nicht konfiguriert sind: spark.storage.block ManagerHeartbeatTimeoutMs Zeitlimit für spark.shuffle.io.Connection spark.rpc.askTimeout spark.rpc.lookupTimeout	120 Sekunden
   spark.rdd.com drücken	Gibt an, ob serialisierte RDD-Partitionen mit spark.io.compression.codec komprimiert werden sollen. Gilt für StorageLevel.MEMORY _ONLY_SER in Java und Scala oder _ONLY in Python. StorageLevel.MEMORY Reduziert den Speicherplatz, erfordert jedoch zusätzliche CPU-Verarbeitungszeit.	false
   spark.shuffle.spill.compress	Gibt an, ob Shuffle-Spill-Daten mithilfe von spark.io.compression.codec komprimiert werden sollen.	true
   spark.shuffle.compress	Gibt an, ob Map-Ausgabedateien komprimiert werden sollen. Bei der Komprimierung wird spark.io.compression.codec verwendet.	true
   spark.shuffle.service.index.cache.size	Legt das Limit für die Cachegröße in Byte fest, sofern nicht anders angegeben.	100 m
   spark.shuffle.io.max versucht es erneut	Legt die maximale Anzahl von Wiederholungen für Abrufe fest, die aufgrund von Ausnahmen fehlschlagen. IO-related	3
   spark.shuffle.io.RetryWait	Legt die Wartezeit zwischen erneuten Abrufversuchen fest. Die maximale Verzögerung, die durch einen erneuten Versuch verursacht wird, beträgt standardmäßig 15 Sekunden und wird als MaxRetries * RetryWait berechnet.	5 s
   Zeitüberschreitung bei spark.shuffle.io.connection	Legt fest, dass das Timeout für hergestellte Verbindungen zwischen Shuffle-Servern und Clients als inaktiv markiert und geschlossen wird, wenn immer noch Abrufanfragen ausstehen, aber kein Verkehr auf dem Kanal vorhanden ist.	(Wert von spark.network.timeout)
   spark.driver.max ResultSize	Legt die Gesamtgrößenbeschränkung der serialisierten Ergebnisse aller Partitionen für jede Spark-Aktion in Byte fest. Sollte mindestens 1M oder 0 für unbegrenzt sein.	1 g
   spark.memory.fraction	Legt den Bruchteil von (Heap-Speicherplatz — 300 MB) fest, der für die Ausführung und Speicherung verwendet wird. Je niedriger dieser Wert ist, desto häufiger kommt es zu Verschüttungen und zum Löschen zwischengespeicherter Daten. Es wird empfohlen, diesen Wert auf dem Standardwert zu belassen.	0.6
   spark.scheduler.mode	Legt den Planungsmodus zwischen Aufträgen fest, die an dasselbe übergeben werden. SparkContext Kann auf FAIR gesetzt werden, um fair zu teilen, anstatt Jobs nacheinander in die Warteschlange zu stellen. Unterstützte Werte: FAIR, FIFO.	FIFO
   spark.sql.adaptive.advisory PartitionSizeInBytes	Legt die Zielgröße in Byte für Shuffle-Partitionen während der adaptiven Optimierung fest, wenn spark.sql.adaptive.enabled den Wert true hat. Steuert die Partitionsgröße, wenn kleine Partitionen zusammengeführt oder schiefe Partitionen aufgeteilt werden.	(Wert von spark.sql.adaptive.shuffle.target) PostShuffleInputSize
   spark.sql.adaptive.auto BroadcastJoinThreshold	Legt die maximale Tabellengröße in Byte für die Übertragung an Worker-Knoten bei Joins fest. Gilt nur im adaptiven Framework. Verwendet denselben Standardwert wie BroadcastJoinThreshold spark.sql.auto. Auf -1 setzen, um die Übertragung zu deaktivieren.	(Keine)
   spark.sql.adaptive.coalesce Partitions.enabled	Gibt an, ob zusammenhängende Shuffle-Partitionen auf der Grundlage von spark.sql.adaptive.advisory zusammengeführt werden sollen, um die Aufgabengröße zu optimieren. PartitionSizeInBytes Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.	true
   spark.sql.adaptive.coalesce Partitions.initialPartitionNum	Definiert die anfängliche Anzahl von Shuffle-Partitionen vor dem Zusammenführen. Erfordert, dass sowohl spark.sql.adaptive.enabled als auch spark.sql.adaptive.coalesce den Wert true haben. Partitions.enabled Standardmäßig wird der Wert von spark.sql.shuffle.partitions verwendet.	(Keine)
   spark.sql.adaptive.coalesce Partitions.minPartitionSize	Legt die Mindestgröße für zusammengefügte Shuffle-Partitionen fest, um zu verhindern, dass Partitionen während der adaptiven Optimierung zu klein werden.	1 MB
   spark.sql.adaptive.coalesce Partitions.parallelismFirst	Gibt an, ob die Partitionsgrößen während der Partitionszusammenführung auf der Grundlage der Cluster-Parallelität statt auf spark.sql.adaptive.advisory berechnet werden sollen. PartitionSizeInBytes Generiert kleinere Partitionsgrößen als die konfigurierte Zielgröße, um die Parallelität zu maximieren. Wir empfehlen, diesen Wert bei stark ausgelasteten Clustern auf falsch zu setzen, um die Ressourcenauslastung zu verbessern, indem übermäßig kleine Aufgaben vermieden werden.	true
   spark.sql.adaptive.enabled	Gibt an, ob die adaptive Abfrageausführung aktiviert werden soll, um Abfragepläne während der Abfrageausführung auf der Grundlage genauer Laufzeitstatistiken erneut zu optimieren.	true
   spark.sql.adaptive.force OptimizeSkewedJoin	Gibt an, ob die Aktivierung erzwungen werden soll, auch wenn dadurch ein zusätzlicher Shuffle eingeführt OptimizeSkewedJoin wird.	false
   spark.sql.adaptive.local ShuffleReader.enabled	Gibt an, ob lokale Shuffle-Reader verwendet werden sollen, wenn eine Shuffle-Partitionierung nicht erforderlich ist, z. B. nach der Konvertierung von Sort-Merge-Joins in Broadcast-Hash-Joins. Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.	true
   spark.sql.adaptive.max ShuffledHashJoinLocalMapThreshold	Legt die maximale Partitionsgröße in Byte für die Erstellung lokaler Hash-Maps fest. Priorisiert gemischte Hash-Joins gegenüber Sort-Merge-Joins, wenn: Dieser Wert entspricht oder übersteigt spark.sql.adaptive.advisory PartitionSizeInBytes Alle Partitionsgrößen liegen innerhalb dieser Grenze Überschreibt die Einstellung SortMergeJoin spark.sql.join.prefer.	0 Byte
   spark.sql.adaptive.optimize SkewsInRebalancePartitions.enabled	Gibt an, ob schiefe Shuffle-Partitionen optimiert werden sollen, indem sie auf der Grundlage von spark.sql.adaptive.advisory in kleinere Partitionen aufgeteilt werden. PartitionSizeInBytes Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.	true
   spark.sql.adaptive.rebalance PartitionsSmallPartitionFactor	Definiert den Größenschwellenfaktor für das Zusammenführen von Partitionen beim Teilen. Partitionen, die kleiner als dieser Faktor sind, multipliziert mit spark.sql.adaptive.advisory, werden zusammengeführtPartitionSizeInBytes .	0.2
   spark.sql.adaptive.skew Join.enabled	Gibt an, ob Datenverzerrungen bei gemischten Verknüpfungen behandelt werden sollen, indem schiefe Partitionen aufgeteilt und optional repliziert werden. Gilt für Sort-Merge- und Shuffled-Hash-Joins. Erfordert, dass spark.sql.adaptive.enabled den Wert true hat.	true
   spark.sql.adaptive.skew Join.skewedPartitionFactor	Bestimmt den Größenfaktor, der den Partitionsversatz bestimmt. Eine Partition ist schief, wenn ihre Größe beide überschreitet: Dieser Faktor multipliziert mit der mittleren Partitionsgröße Der Wert von spark.sql.adaptive.skew Join.skewedPartitionThresholdInBytes	5
   spark.sql.adaptive.skew Join.skewedPartitionThresholdInBytes	Legt den Größenschwellenwert in Byte zur Identifizierung schiefer Partitionen fest. Eine Partition ist schief, wenn ihre Größe beide überschreitet: Dieser Schwellenwert Die mittlere Partitionsgröße multipliziert mit spark.sql.adaptive.skew Join.skewedPartitionFactor Wir empfehlen, diesen Wert größer als spark.sql.adaptive.advisory einzustellen. PartitionSizeInBytes	256 MB
   spark.sql.broadcast-Timeout	Steuert den Timeout-Zeitraum in Sekunden für die Broadcast-Operationen bei Broadcast-Joins.	300 Sekunden
   spark.sql.cbo.enabled	Gibt an, ob die kostenbasierte Optimierung (CBO) für die Schätzung von Planstatistiken aktiviert werden soll.	false
   spark.sql.cbo.join Reorder.dp.star.filter	Gibt an, ob bei der kostenbasierten Join-Enumeration eine Star-Join-Filterheuristik angewendet werden soll.	false
   spark.sql.cbo.join Reorder.dp.threshold	Legt die maximale Anzahl verbundener Knoten fest, die im dynamischen Programmieralgorithmus zulässig sind.	12
   spark.sql.cbo.join Reorder.enabled	Gibt an, ob die Neuanordnung von Verknüpfungen in der kostenbasierten Optimierung (CBO) aktiviert werden soll.	false
   spark.sql.cbo.plan Stats.enabled	Gibt an, ob bei der Generierung des logischen Plans Zeilenanzahl und Spaltenstatistiken aus dem Katalog abgerufen werden sollen.	false
   spark.sql.cbo.star SchemaDetection	Gibt an, ob die Neuordnung von Joins auf der Grundlage der Sternschemaerkennung aktiviert werden soll.	false
   spark.sql.files.max PartitionNum	Legt die maximale Zielanzahl geteilter Dateipartitionen für dateibasierte Quellen (Parquet, JSON und ORC) fest. Skaliert Partitionen neu, wenn die anfängliche Anzahl diesen Wert überschreitet. Dies ist ein empfohlenes Ziel, kein garantiertes Limit.	(Keine)
   spark.sql.files.max RecordsPerFile	Legt die maximale Anzahl von Datensätzen fest, die in eine einzelne Datei geschrieben werden sollen. Bei einem Wert von Null oder einem negativen Wert gilt kein Limit.	0
   spark.sql.files.min PartitionNum	Legt die Mindestanzahl geteilter Dateipartitionen für dateibasierte Quellen (Parquet, JSON und ORC) fest. Die Standardeinstellung ist spark.sql.leaf. NodeDefaultParallelism Dies ist ein empfohlenes Ziel, kein garantiertes Limit.	(Keine)
   spark.sql.in MemoryColumnarStorage.batchSize	Steuert die Batchgröße für das spaltenförmige Caching. Eine Erhöhung der Größe verbessert die Speicherauslastung und Komprimierung, erhöht jedoch das Risiko von Fehlern aufgrund unzureichenden Speichers.	10000
   spark.sql.in MemoryColumnarStorage.compressed	Gibt an, ob auf der Grundlage von Datenstatistiken automatisch Komprimierungscodecs für Spalten ausgewählt werden sollen.	true
   spark.sql.in MemoryColumnarStorage.enableVectorizedReader	Gibt an, ob vektorisiertes Lesen für das spaltenförmige Caching aktiviert werden soll.	true
   spark.sql.legacy.allow HashOnMapType	Gibt an, ob Hashoperationen für Datenstrukturen vom Kartentyp zulässig sind. Diese Legacy-Einstellung gewährleistet die Kompatibilität mit der Verarbeitung von Kartentypen älterer Spark-Versionen.	(Keine)
   spark.sql.legacy.allow NegativeScaleOfDecimal	Gibt an, ob negative Skalenwerte in Dezimaltypdefinitionen zulässig sind. Diese alte Einstellung gewährleistet die Kompatibilität mit älteren Spark-Versionen, die negative Dezimalskalen unterstützten.	(Keine)
   spark.sql.legacy.cast ComplexTypesToString.enabled	Gibt an, ob veraltetes Verhalten für die Umwandlung komplexer Typen in Zeichenketten aktiviert werden soll. Behält die Kompatibilität mit den Typkonvertierungsregeln älterer Spark-Versionen bei.	(Keine)
   spark.sql.legacy.char VarcharAsString	Gibt an, ob CHAR- und VARCHAR-Typen als STRING-Typen behandelt werden sollen. Diese Legacy-Einstellung bietet Kompatibilität mit der Behandlung von String-Typen älterer Spark-Versionen.	(Keine)
   spark.sql.legacy.create EmptyCollectionUsingStringType	Gibt an, ob leere Sammlungen mithilfe von Elementen vom Typ Zeichenfolge erstellt werden sollen. Diese ältere Einstellung gewährleistet die Kompatibilität mit dem Sammlungsinitialisierungsverhalten älterer Spark-Versionen.	(Keine)
   spark.sql.legacy.exponent LiteralAsDecimal.enabled	Gibt an, ob exponentielle Literale als Dezimaltypen interpretiert werden sollen. Diese ältere Einstellung gewährleistet die Kompatibilität mit der numerischen Literalverarbeitung älterer Spark-Versionen.	(Keine)
   spark.sql.legacy.json.allow EmptyString.enabled	Gibt an, ob bei der JSON-Verarbeitung leere Zeichenfolgen zulässig sind. Diese Legacy-Einstellung gewährleistet die Kompatibilität mit dem JSON-Parsing-Verhalten älterer Spark-Versionen.	(Keine)
   spark.sql.legacy.parquet.int96 RebaseModeInRead	Gibt an, ob beim Lesen von Parquet-Dateien der ältere INT96-Timestamp-Rebase-Modus verwendet werden soll. Diese Legacy-Einstellung gewährleistet die Kompatibilität mit der Zeitstempelverarbeitung älterer Spark-Versionen.	(Keine)
   spark.sql.legacy.time ParserPolicy	Steuert das Verhalten bei der Zeitanalyse aus Gründen der Abwärtskompatibilität. Diese Legacy-Einstellung bestimmt, wie Zeitstempel und Datumsangaben anhand von Zeichenketten analysiert werden.	(Keine)
   spark.sql.legacy.type Coercion.datetimeToString.enabled	Gibt an, ob beim Konvertieren von Datetime-Werten in Zeichenfolgen das erzwungene Verhalten älterer Typen aktiviert werden soll. Behält die Kompatibilität mit den Datetime-Konvertierungsregeln älterer Spark-Versionen bei.	(Keine)
   spark.sql.max SinglePartitionBytes	Legt die maximale Partitionsgröße in Byte fest. Der Planer führt Shuffle-Operationen für größere Partitionen ein, um die Parallelität zu verbessern.	128 m
   spark.sql.metadatacacheTTL Sekunden	Steuert die Gültigkeitsdauer (TTL) für Metadaten-Caches. Gilt für Partitionsdatei-Metadaten und Sitzungskatalog-Caches. Erfordert: Ein positiver Wert größer als Null spark.sql.CatalogImplementation ist auf hive gesetzt PartitionFileCacheSize spark.sql.hive.filesource größer als Null spark.sql.hive.manage auf true gesetzt FilesourcePartitions	-1000 ms
   spark.sql.optimizer.collapse ProjectAlwaysInline	Gibt an, ob benachbarte Projektionen und Inline-Ausdrücke ausgeblendet werden sollen, auch wenn dies zu Duplikaten führt.	false
   spark.sql.optimizer.dynamic PartitionPruning.enabled	Gibt an, ob Prädikate für Partitionsspalten generiert werden sollen, die als Join-Schlüssel verwendet werden.	true
   spark.sql.optimizer.enable CsvExpressionOptimization	Gibt an, ob CSV-Ausdrücke im SQL-Optimierer optimiert werden sollen, indem unnötige Spalten aus from_csv-Vorgängen entfernt werden.	true
   spark.sql.optimizer.enable JsonExpressionOptimization	Gibt an, ob JSON-Ausdrücke im SQL-Optimierer wie folgt optimiert werden sollen: Überflüssige Spalten aus from_json-Operationen entfernen Vereinfachung der Kombinationen from_json und to_json Optimierung von named_struct-Operationen	true
   spark.sql.optimizer.excludedRules	Definiert zu deaktivierende Optimizer-Regeln, die durch kommagetrennte Regelnamen gekennzeichnet sind. Einige Regeln können nicht deaktiviert werden, da sie für die Richtigkeit erforderlich sind. Der Optimierer protokolliert, welche Regeln erfolgreich deaktiviert wurden.	(Keine)
   spark.sql.optimizer.runtime.bloom Filter.applicationSideScanSizeThreshold	Legt die minimale aggregierte Scangröße in Byte fest, die erforderlich ist, um einen Bloom-Filter auf der Anwendungsseite einzufügen.	10 GB
   spark.sql.optimizer.runtime.bloom Filter.creationSideThreshold	Definiert den maximalen Größenschwellenwert für das Einfügen eines Bloom-Filters auf der Erstellungsseite.	10 MB
   spark.sql.optimizer.runtime.bloom Filter.enabled	Gibt an, ob ein Bloom-Filter eingefügt werden soll, um Shuffle-Daten zu reduzieren, wenn eine Seite eines Shuffle-Joins ein selektives Prädikat hat.	true
   spark.sql.optimizer.runtime.bloom Filter.expectedNumItems	Definiert die Standardanzahl der erwarteten Elemente im Runtime-Bloom-Filter.	1000000
   spark.sql.optimizer.runtime.bloom Filter.maxNumBits	Legt die maximale Anzahl von Bits fest, die im Runtime-Bloom-Filter zulässig sind.	67108864
   spark.sql.optimizer.runtime.bloom Filter.maxNumItems	Legt die maximale Anzahl erwarteter Elemente fest, die im Bloom-Laufzeitfilter zulässig sind.	4000000
   spark.sql.optimizer.runtime.bloom Filter.numBits	Definiert die Standardanzahl der Bits, die im Runtime-Bloom-Filter verwendet werden.	8388608
   spark.sql.optimizer.runtime.row LevelOperationGroupFilter.enabled	Gibt an, ob die Runtime-Gruppenfilterung für Operationen auf Zeilenebene aktiviert werden soll. Ermöglicht Datenquellen Folgendes: Bereinigen Sie ganze Datengruppen (wie Dateien oder Partitionen) mithilfe von Datenquellenfiltern Führen Sie Laufzeitabfragen aus, um übereinstimmende Datensätze zu identifizieren Verwerfen Sie unnötige Gruppen, um teure Umschreibungen zu vermeiden Einschränkungen: Nicht alle Ausdrücke können in Datenquellenfilter konvertiert werden Für einige Ausdrücke ist eine Spark-Auswertung erforderlich (z. B. Unterabfragen)	true
   spark.sql.optimizer.runtime Filter.number.threshold	Legt die Gesamtzahl der injizierten Laufzeitfilter (nicht DPP) fest. Dies dient dazu, Treiber-OOMs mit zu vielen Bloom-Filtern zu verhindern.	10
   spark.sql.optimizer.runtime Filter.semiJoinReduction.enabled	Gibt an, ob ein Semi-Join eingefügt werden soll, um Shuffle-Daten zu reduzieren, wenn eine Seite eines Shuffle-Joins ein selektives Prädikat hat.	false
   spark.sql.parquet.aggregatePushdown	Gibt an, ob Aggregate zur Optimierung nach Parquet übertragen werden sollen. Unterstützt: MIN und MAX für die Typen Boolean, Integer, Float und Datum COUNT für alle Datentypen Löst eine Ausnahme aus, wenn Statistiken in einer Fußzeile einer Parquet-Datei fehlen.	false
   spark.sql.parquet.columnar ReaderBatchSize	Steuert die Anzahl der Zeilen in jedem vektorisierten Parquet-Reader-Batch. Wählen Sie einen Wert, der den Leistungsaufwand und die Speicherauslastung ausbalanciert, um Fehler aufgrund unzureichenden Speichers zu vermeiden.	4096
   spark.sql.parquet.enable VectorizedReader	Gibt an, ob die vektorisierte Parquet-Decodierung aktiviert werden soll.	true
   spark.sql.shuffle.partitions	Legt die Standardanzahl von Partitionen für das Mischen von Daten bei Verknüpfungen oder Aggregationen fest. Kann nicht zwischen Neustarts strukturierter Streaming-Abfragen von derselben Checkpoint-Position aus geändert werden.	200
   spark.sql.shuffled HashJoinFactor	Definiert den Multiplikationsfaktor, der zur Bestimmung der Eignung für Shuffle-Hash-Joins verwendet wird. Ein Shuffle-Hash-Join wird ausgewählt, wenn die Größe der Small-Side-Daten multipliziert mit diesem Faktor kleiner ist als die Large-Side-Datengröße.	3
   spark.sql.sources.parallel PartitionDiscovery.threshold	Legt die maximale Anzahl von Pfaden für die treiberseitige Dateiliste mit dateibasierten Quellen (Parquet, JSON und ORC) fest. Wenn diese Grenze bei der Partitionserkennung überschritten wird, werden die Dateien in einem separaten verteilten Spark-Job aufgelistet.	32
   spark.sql.statistics.histogram.enabled	Gibt an, ob bei der Berechnung der Spaltenstatistiken Histogramme gleicher Höhe generiert werden sollen, um die Schätzgenauigkeit zu verbessern. Erfordert einen zusätzlichen Tabellenscan, der über den für grundlegende Spaltenstatistiken erforderlichen hinausgeht.	false
   spark.dynamic Allocation.executorIdleTimeout	Legt die Dauer fest, für die ein Executor inaktiv sein muss, bevor er entfernt wird, wenn die dynamische Zuordnung aktiviert ist.	60 Sekunden
   spark.dynamic Allocation.schedulerBacklogTimeout	Legt die Dauer fest, für die ausstehende Aufgaben im Rückstand sein müssen, bevor neue Executoren angefordert werden, wenn die dynamische Zuweisung aktiviert ist.	1s
   spark.dynamic Allocation.sustainedSchedulerBacklogTimeout	Wie spark.dynamicAllocation.schedulerBacklogTimeout, wird aber nur für nachfolgende Executor-Anfragen verwendet.	(Wert von spark.dynamic) Allocation.schedulerBacklogTimeout
   spark.scheduler.min RegisteredResourcesRatio	Legt das Mindestverhältnis registrierter Ressourcen (registrierte Ressourcen/Gesamtzahl der erwarteten Ressourcen) fest, auf das gewartet werden muss, bevor die Planung beginnt. Wird als Double-Wert zwischen 0,0 und 1,0 angegeben. Unabhängig davon, ob das Mindestverhältnis an Ressourcen erreicht wurde, wird die maximale Wartezeit vor Beginn der Planung von RegisteredResourcesWaitingTime spark.scheduler.max gesteuert.	0.8
   spark.scheduler.max RegisteredResourcesWaitingTime	Legt die maximale Wartezeit fest, bis Ressourcen registriert sind, bevor die Planung beginnt.	30 Sekunden
   spark.sql.hive.metastore PartitionPruningFallbackOnException	Gibt an, ob auf das Abrufen aller Partitionen aus dem Hive-Metastore zurückgegriffen und auf der Seite des Spark-Clients eine Partitionsbereinigung durchgeführt werden soll, wenn der Metastore aus aufgerufen wird. MetaException	false
   spark.sql.cross Join.enabled	Gibt an, ob Abfragen zulässig sind, die ein kartesisches Produkt ohne explizite CROSS JOIN-Syntax enthalten.	true
   spark.sql.analyzer.maxIterations	Legt die maximale Anzahl von Iterationen fest, die der Abfrageanalysator ausführt, bevor er aufgibt. Höhere Werte ermöglichen es dem Analyzer, sehr große oder tief verschachtelte Abfragen zu verarbeiten.	100
   spark.sql.dataprefetch.filescan.max ParallelismPerTask	Legt die maximale Anzahl von Dateisplits fest, die beim Scannen von Dateien gleichzeitig für jede Aufgabe vorab abgerufen werden sollen.	4
   spark.sql.iceberg.data-prefetch.enabled	Gibt an, ob beim Lesen von Tabellen die Optimierung von Daten vor dem Abrufen aktiviert werden soll. Iceberg	true
   spark.sql.legacy.null ValueWrittenAsQuotedEmptyStringCsv	Gibt an, ob das alte Verhalten beim Schreiben von Nullen als leere Zeichenfolgen in Anführungszeichen in der CSV-Ausgabe wiederhergestellt werden soll. Wenn der Wert falsch ist, schreibt Spark Nullen als leere Zeichenfolgen ohne Anführungszeichen.	false
   spark.max RemoteBlockSizeFetchToMem	Legt den Größenschwellenwert fest, ab dem Spark entfernte Blöcke auf die Festplatte statt in den Speicher abruft. Dadurch wird vermieden, dass eine einzelne große Anfrage zu viel Speicher verbraucht.	200m
   spark.emr-serverless.allocation.batch.size	Legt die Anzahl der Executoren fest, die in jeder Runde der Executor-Zuweisung gleichzeitig angefordert werden sollen.	20

   Eigenschaftenname	Description	Standardwert
   spark.sql.auto BroadcastJoinThreshold	Legt die maximale Tabellengröße in Byte für die Übertragung an Worker-Knoten bei Joins fest. Auf -1 setzen, um das Senden zu deaktivieren.	10 MB (-1 für CR.4X mit 32 Arbeitern)
   spark.dynamic Allocation.enabled	Gibt an, ob die dynamische Ressourcenzuweisung verwendet werden soll, bei der die Anzahl der bei dieser Anwendung registrierten Executoren je nach Arbeitslast hoch- und herunterskaliert wird.	true
   spark.files.fetch Failure.unRegisterOutputOnHost	Gibt an, ob die Registrierung aller Map-Ausgaben auf einem Host aufgehoben werden soll, wenn ein Abruffehler auftritt. Wenn der Wert falsch ist, hebt Spark nur die Registrierung der Ausgaben des jeweiligen Executors auf, der ausgefallen ist, wodurch unnötige Neuberechnungen der Stufen vermieden werden.	false
   spark.io.compression.codec	Legt den Codec fest, der zum Komprimieren interner Daten wie RDD-Partitionen, Ereignisprotokolle, Broadcast-Variablen und Shuffle-Ausgaben verwendet wird. Unterstützte Werte: lz4, snappy, zstd, gzip.	snappy
   spark.sql.session.timezone	Definiert die Sitzungszeitzone für die Behandlung von Zeitstempeln in Zeichenfolgenliteralen und die Konvertierung von Java-Objekten. Akzeptiert: Region-based IDs im area/city Format (wie America/Los _Angeles) Zonenversätze im HH:mm:ss Format (+/-) HH, (+/-) HH:mm oder (+/-) (z. B. -08 oder + 01:00) UTC oder Z als Aliase für + 00:00	UTC

9. Wählen Sie für den Servicezugriff den Namen der vorhandenen Servicerolle aus, der für den Zugriff auf diese Tabelle verwendet wird.

10. Wenn Sie Tags für den Trainingsdatensatz aktivieren möchten, wählen Sie Neues Tag hinzufügen und geben Sie dann das Schlüssel-Wert-Paar ein.

11. Wählen Sie Lookalike-Segment erstellen aus.