View a markdown version of this page

Fitur Transformasi Data - AWS HealthLake

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Fitur Transformasi Data

Setiap fitur di bawah ini didokumentasikan dengan apa itu, cara kerjanya, perbedaan antara C-CDA dan sumber CSV, dan kapan menggunakannya.

Profil transformasi dan pembuatan versi

Profil transformasi adalah definisi yang dapat digunakan kembali tentang bagaimana format sumber dikonversi ke FHIR R4. Ini menyimpan logika konversi (template kecepatan untuk C-CDA, konfigurasi pemetaan YAML untuk CSV) dan dibuat sekali dan digunakan kembali di semua penyimpanan data dan pekerjaan transformasi di akun Anda. Memisahkan definisi (profil) dari eksekusi (pekerjaan) berarti Anda membuat dan menguji konversi sekali, lalu menerapkan versi yang diterbitkan yang sama ke sejumlah pekerjaan.

Membuat profil

Anda membuat profil dengan salah satu dari tiga cara:

  • Dari profil pemula atau dasar: mulai dari profil yang berfungsi, bukan profil kosong. Untuk C-CDA, Profil AWS Pemula adalah profil bawaan AWS-defined yang menangani format C-CDA dokumen umum di luar kotak. Untuk CSV, Anda menyediakan file sampel di Amazon S3 saat membuat profil, lalu memanggil agen AI untuk menganalisisnya dan menghasilkan konfigurasi pemetaan YAML.

  • Dengan kloning: kloning profil apa pun yang ada sebagai titik awal untuk yang baru.

  • Dari pemetaan mentah: berikan template Velocity (C-CDA) atau pemetaan YAML (CSV) secara langsung. Ini adalah jalur untuk menerapkan profil yang dikendalikan versi melalui CI/CD pipeline (lihat). Memulai dengan SDK dan AWS CLI

penting

Membuat profil CSV dengan SampleData mendaftarkan lokasi sampel tetapi tidak menjalankan agen AI. Untuk menghasilkan pemetaan YAML, Anda harus memanggil UpdateProfileWithAgent setelah pembuatan. Agen menganalisis file sampel Anda pada titik itu dan menghasilkan profil dasar.

Siklus hidup versi

Profil dapat memiliki paling banyak satu draf dan hingga 99 versi yang diterbitkan:

  • Profil baru dimulai sebagai draf (versi 0): salinan kerja yang dapat diubah yang dapat Anda edit dengan bebas.

  • Menerbitkan draf membuat versi bernomor yang tidak dapat diubah (v1, v2, dan seterusnya, hingga v99). Versi yang diterbitkan tidak pernah berubah.

  • Pekerjaan transformasi selalu berjalan dengan versi terbaru yang diterbitkan. Karena drafnya terpisah, Anda dapat terus mengedit sementara pekerjaan produksi terus berjalan terhadap versi terakhir yang diterbitkan: pengeditan yang sedang berlangsung tidak pernah memengaruhi konversi yang sedang berjalan.

  • Profil dengan versi yang diterbitkan dan suntingan baru yang belum dipublikasikan berada dalam status perubahan yang tidak dipublikasikan; versi yang diterbitkan tetap aktif sampai Anda menerbitkan lagi.

Membandingkan dan memutar kembali

Karena setiap versi yang diterbitkan dipertahankan, Anda dapat melihat dengan tepat bagaimana logika konversi berubah selama riwayat versi. Menggulir kembali tidak menghapus apa pun: itu membuat versi baru dari snapshot sebelumnya, sehingga riwayat lengkap dan jejak audit dipertahankan.

Kapan menggunakan versioning

Publikasikan versi sebelum menjalankan pekerjaan produksi sehingga pekerjaan disematkan ke logika yang ditinjau. Gunakan rollback ketika perubahan menghasilkan output yang tidak terduga, dan bandingkan untuk mengonfirmasi perubahan apa yang sebenarnya diubah.

Agen AI Transformasi Data

Agen AI Transformasi Data menghilangkan upaya manual untuk menulis dan memelihara pemetaan FHIR. Alih-alih menulis logika konversi dengan tangan, Anda menjelaskan hasil yang Anda inginkan dan agen menghasilkan atau memperbarui logika yang mendasarinya: Template kecepatan untuk C-CDA, konfigurasi pemetaan YAML untuk CSV. Agen disematkan dalam editor profil di Konsol Manajemen AWS dan juga tersedia melalui UpdateProfileWithAgent API dan sebagai alat MCP, sehingga Anda dapat bekerja dengannya dari Konsol Manajemen AWS, dari kode, atau dari MCP-compatible IDE.

Apa yang dilakukan agen

Agen AI Transformasi Data melakukan tugas-tugas berikut:

  • Menghasilkan logika konversi dari data Anda. Untuk CSV, agen menganalisis file sampel yang Anda berikan saat pembuatan profil dan menghasilkan profil dasar: menyimpulkan sumber daya dan bidang FHIR target, jadi Anda mulai dari draf kerja daripada profil kosong. Untuk C-CDA, ini menyesuaikan Profil Pem AWS ula dengan dokumen Anda.

  • Mengedit logika konversi dari bahasa alami. Jelaskan perubahan dalam bahasa sederhana dan agen memperbarui template atau pemetaan yang mendasarinya. Contoh:

    • “Tambahkan pemetaan untuk sumber daya Obat.”

    • “Petakan bahasa pilihan pasien dari bagian Komunikasi Bahasa.”

    • “Tetapkan negara bagian default ke Washington untuk sumber daya Pasien.”

    • “Petakan kolom RACE_CD ke ekstensi FHIR.”

    • “Lewati catatan di mana status dimasukkan dalam kesalahan.”

  • Menjelaskan dan mengulas sebelum mendaftar. Agen menyajikan perubahan yang diusulkan sebagai perbedaan dari template atau pemetaan yang terpengaruh untuk Anda tinjau, dan menerapkannya hanya setelah Anda menerimanya. Tidak ada yang berubah secara diam-diam pada profil yang diterbitkan, agen hanya membuat perubahan pada versi draf.

  • Memurnikan secara berulang. Bekerja dengan agen di beberapa putaran untuk menyesuaikan pemetaan hingga output yang dikonversi benar, melihat pratinjau hasil terhadap data sampel antara giliran dengan API transformasi sinkronisasi.

C-CDA alur kerja (Templat kecepatan)

Agen mengedit template Velocity yang menentukan bagaimana C-CDA bagian dipetakan ke sumber daya FHIR. Minta untuk menambahkan pemetaan sumber daya, mengubah cara bagian ditafsirkan, menetapkan nilai default, atau menangani variasi dokumen, dan memperbarui template dan mengembalikan perbedaan. Anda melihat pratinjau konversi terhadap C-CDA dokumen sampel sebelum menerbitkan.

Alur kerja CSV (pemetaan YAML)

Saat Anda membuat profil CSV dengan file sampel dan kemudian memanggil agen, itu menganalisis header, nilai sampel, dan pola data dari file Anda, lalu mengusulkan konfigurasi pemetaan YAML yang mencakup:

  • Pemetaan bidang kolom-ke-FHIR,

  • deteksi format tanggal dan pemformatan ulang ke format FHIR, date/time

  • terjemahan nilai (misalnya, M → pria, RAWAT INAP → IMP),

  • primary/foreign-hubungan kunci antar tabel,

  • aturan agregasi yang melipat baris tabel anak menjadi array FHIR pada sumber daya induk,

  • setiap asumsi yang dibuat agen dan pertanyaan apa pun yang dimilikinya tentang data Anda.

Anda menerima, menolak, atau memperbaiki setiap pemetaan yang diusulkan, dan dapat meminta agen untuk penyesuaian lebih lanjut. Agen menyimpulkan pemetaan dari sampel file Anda daripada dataset lengkap, jadi berikan sampel yang mewakili data Anda dan tinjau pemetaan yang diusulkan sebelum mengonversi dalam skala besar.

Masukan yang diterima agen

Anda dapat berkomunikasi dengan agen dalam input bahasa alami. Beberapa kombinasi meliputi:

  • instruksi,

  • data sumber sampel (C-CDA bagian atau skema CSV),

  • dokumentasi skema,

  • Kesalahan validasi FHIR dari konversi sebelumnya.

Pengeditan manual

Anda tidak diharuskan menggunakan agen. Anda dapat mengedit template Velocity dan pemetaan YAML secara langsung kapan saja, dan mencampur pengeditan manual dengan perubahan yang ditulis agen pada profil yang sama.

Transformasi dan pratinjau sinkron (real-time)

Transformasi sinkron mengonversi satu input dan mengembalikan hasil FHIR segera, alih-alih menjalankan pekerjaan asinkron melalui Amazon S3. Itu ada untuk dua tujuan: menguji profil saat Anda menulisnya, dan menjalankan transformasi interaktif kecil dalam request/response aliran.

Cara kerjanya

Transformasi sinkron memproses satu input sebagai berikut:

  • Anda mengirimkan satu input ( C-CDA dokumen atau sekumpulan file CSV) terhadap profil dan menerima sumber daya FHIR yang dikonversi sebagai Bundel FHIR dalam tanggapan.

  • Operasi hanya tersedia melalui REST API: tidak diekspos sebagai perintah AWS CLI atau SDK. Lihat Mengakses Agen Transformasi Data.

  • Anda dapat mengaktifkan deteksi penyimpangan pada panggilan sinkronisasi dengan menyetel DriftDetectionEnabled ke true untuk melihat, dalam respons, elemen sumber mana yang belum ditangkap profil: berguna saat mengulangi pemetaan.

Batas ukuran

Transformasi sinkron menerima C-CDA input hingga 1 MB dan input CSV gabungan hingga 1 MB per permintaan. Untuk kumpulan data yang lebih besar, gunakan pekerjaan transformasi massal.

Pratinjau di Konsol Manajemen AWS

Saat membuat profil di Konsol Manajemen AWS, transformasi sinkron memberi kekuatan pratinjau langsung: Anda melihat sumber di satu sisi dan output FHIR yang dikonversi di sisi lain, dan pratinjau diperbarui saat Anda memperbaiki pemetaan. Gunakan untuk mengonfirmasi output benar sebelum menerbitkan.

Kapan menggunakan sinkronisasi vs massal

Gunakan transformasi sinkron untuk memvalidasi profil terhadap dokumen representatif dan untuk konversi per permintaan yang sensitif terhadap latensi, seperti umpan langsung yang mengonversi dokumen saat dokumen tiba. Gunakan pekerjaan transformasi massal (di bawah) untuk kumpulan data besar dan untuk mencerna langsung ke datastore. HealthLake

Pekerjaan transformasi massal (asinkron)

Pekerjaan transformasi massal mengonversi kumpulan data besar dari Amazon S3 menggunakan profil yang diterbitkan, berjalan secara asinkron saat Anda memantau kemajuan. Ini adalah jalur produksi untuk migrasi dan untuk memuat data ke HealthLake datastore. Silakan merujuk ke halaman ini untuk pengaturan izin IAM.

Cara kerjanya

Pekerjaan transformasi massal berfungsi sebagai berikut:

  • Arahkan pekerjaan ke awalan file sumber Amazon S3, pilih profil yang diterbitkan, dan pilih tujuan keluaran. Pekerjaan memindai input, mengonversi setiap file (C-CDA) atau set baris (CSV), dan menulis hasilnya.

  • Tidak ada infrastruktur untuk penyediaan: pekerjaan dinaikkan secara otomatis.

Mode keluaran

Pekerjaan massal mendukung mode keluaran berikut:

  • Mandiri: tulis FHIR yang dikonversi ke lokasi Amazon S3. Gunakan StartDataTransformationJob API.

  • Komposit (konversi dan konsumsi): mengkonversi file sumber dan menelan sumber daya FHIR yang dihasilkan langsung ke HealthLake datastore dalam satu langkah, sehingga data segera dapat dikueri. Gunakan StartFHIRImportJob API dengan DriftDetectionEnabled parameter ProfileId, InputFormat, dan opsional. Datastore harus dalam keadaan AKTIF. Lihat Langkah 7: Konversi dan konsumsi ke HealthLake datastore untuk contoh lengkap.

Penanganan kegagalan yang anggun

Input yang salah format dilewati dan dicatat alih-alih gagal dalam batch, sehingga satu file buruk tidak pernah menghentikan pekerjaan besar. Input yang gagal ditulis sebagai file kesalahan JSON dengan jalur file input dan pesan kesalahan, sehingga Anda dapat meninjau dan memprosesnya kembali.

Tata letak keluaran

Layanan membuat folder dengan cakupan pekerjaan di bawah URI Amazon S3 keluaran Anda menggunakan ID pekerjaan. Di dalam folder itu:

  • dikonversi/: File keluaran FHIR NDJSON (satu per file input, misalnya, -record.ndjson). converted/patient

  • ERROR/: detail kesalahan untuk input yang gagal (file JSON dengan bidang inputFile dan errorMessage, misalnya,). ERROR/bad-file.json

  • Manifest.json: ringkasan pekerjaan dengan metrik agregat (file dipindai, dikonversi, gagal, sumber daya dihasilkan).

  • jobLevelDriftResult.json: laporan penyimpangan agregat untuk pekerjaan, jika deteksi penyimpangan diaktifkan.

  • driftDetectionPerFileResults/: untuk C-CDA pekerjaan dengan deteksi drift diaktifkan, laporan penyimpangan per file (misalnya, driftDetectionPerFileResults/patient -record_driftMetrics.json), sehingga Anda dapat memeriksa cakupan untuk file sumber individual daripada hanya agregat tingkat pekerjaan.

Memantau

Lacak pekerjaan yang sedang berjalan melalui halaman detail Konsol Manajemen AWS pekerjaan atau DescribeDataTransformationJob API: status, file yang diproses (baris untuk CSV), sumber daya yang dihasilkan, dan kegagalan. Metrik dan log pekerjaan juga tersedia di Amazon CloudWatch.

Validasi

Agen Transformasi Data memvalidasi pada beberapa titik dalam siklus hidup konversi, sehingga masalah tertangkap sebelum menjadi konversi yang gagal atau output yang tidak sesuai.

  • Validasi sumber: memeriksa C-CDA apakah input terbentuk dengan baik dan sesuai dengan C-CDA spesifikasi. Kesalahan mencakup detail lokasi dan panduan remediasi, sehingga Anda dapat memperbaiki masalah sumber sebelum menjalankan pekerjaan besar. ValidateSource Operasi ini tersedia melalui REST API untuk menyaring input di depan.

  • Validasi template/pemetaan: memvalidasi template Velocity (C-CDA) atau pemetaan YAML (CSV) profil secara independen dari data apa pun, sehingga Anda dapat mengonfirmasi logika konversi terbentuk dengan baik sebelum menerbitkan atau menjalankan pekerjaan.

  • Validasi FHIR keluaran: memeriksa apakah sumber daya yang dihasilkan sesuai dengan FHIR R4, sehingga API FHIR hilir dan penyimpanan data menerima output.

Bersama-sama ini berarti pekerjaan gagal lebih jarang karena alasan yang dapat dihindari: validasi sumber menangkap input yang buruk, validasi pemetaan menangkap logika yang buruk, dan validasi keluaran mengonfirmasi hasilnya sesuai standar.

OID-to-URI pemetaan

C-CDA dokumen mengidentifikasi sistem kode menggunakan OID (Object Identifiers): pengidentifikasi numerik lama seperti 2.16.840.1.113883.6.1 (LOINC). FHIR mengharapkan URI sistem modern seperti. http://loinc.org Jika OID dibawa melalui yang belum dipetakan, nilai sistem yang dihasilkan tidak dapat dioperasikan dan perkakas FHIR hilir tidak dapat menyelesaikan kode. Agen Transformasi Data memetakan di antara mereka selama konversi.

  • Pre-built pemetaan: pemetaan untuk OID perawatan kesehatan umum (misalnya, LOINC, SNOMED CT,, RxNorm) diterapkan secara ICD-10 otomatis, tanpa konfigurasi.

  • Pemetaan kustom: tambahkan pemetaan Anda sendiri OID-to-URI untuk sistem kode khusus untuk sumber Anda, sehingga sistem berpemilik atau lokal diselesaikan dengan benar.

Ini berlaku untuk C-CDA sumber, di mana OID adalah cara asli sistem kode diidentifikasi.

Asal

Alur kerja perawatan kesehatan yang diatur perlu menjawab “dari mana data ini berasal, dan bagaimana data itu diproduksi?” untuk sumber daya apa pun. Ketika asal diaktifkan pada pekerjaan, Agen Transformasi Data menghasilkan sumber daya Provenance FHIR untuk setiap konversi, memberikan setiap sumber daya keluaran garis keturunan yang lengkap dan dapat ditanyakan kembali ke sumbernya.

Rantai-rantai asal

Asal → DocumentReference → file sumber. Sumber daya Provenance merujuk a DocumentReference, yang merekam URI Amazon S3 file sumber dan SHA-1 checksum. Checksum memungkinkan Anda membuktikan output berasal dari file sumber tertentu yang tidak diubah. Sumber daya Perangkat yang mewakili Transformasi AWS HealthLake Data sebagai entitas juga disediakan jika informasi itu diperlukan.

Record-level pencari lokasi

Provenance tidak hanya diselesaikan ke file sumber tetapi ke lokasi yang tepat di dalamnya, dan pencari lokasi berbeda berdasarkan format sumber:

  • C-CDA: XPath menunjuk ke elemen sumber sumber sumber daya berasal.

  • CSV: nama tabel, kunci utama, dan nomor baris dari catatan sumber.

Bidang yang ditangkap

Setiap sumber Provenance merekam URI file sumber dan checksum, versi profil yang digunakan untuk konversi, stempel waktu, dan pencari lokasi tingkat catatan.

Kesesuaian dan penggunaan

Sumber daya asal sesuai dengan profil Provenance Inti AS, sehingga mereka bekerja sama dengan perkakas AS. Core-aware Aktifkan asal ketika Anda memerlukan auditabilitas untuk kepatuhan, atau ketika Anda perlu melacak sumber daya keluaran yang dipertanyakan kembali ke elemen sumber yang tepat yang menghasilkannya. Provenance diaktifkan secara default; disetel ProvenanceEnabled ke false untuk menonaktifkannya.

Deteksi penyimpangan

Konversi dapat berhasil saat diam-diam menjatuhkan data sumber yang belum dipetakan profil. Deteksi drift memunculkan celah itu. Ini adalah laporan: ketika diaktifkan, ini membandingkan apa yang terkandung sumber dengan apa yang sebenarnya dihasilkan profil, dan mencatat apa yang tertinggal.

Apa isi laporan

Laporan drift berisi informasi berikut:

  • Tingkat cakupan keseluruhan untuk konversi.

  • Daftar peringkat bagian dan elemen sumber yang belum dipetakan, sehingga Anda dapat memprioritaskan kesenjangan berdampak tertinggi.

  • Setiap sumber daya yang diharapkan yang tidak diproduksi.

  • Ketertelusuran penuh kembali ke file sumber dan lokasi elemen (nama file dan OID untuk C-CDA, baris untuk CSV).

Cara menggunakan deteksi penyimpangan

Deteksi drift tersedia di kedua mode konversi, sehingga Anda dapat menggunakannya apakah Anda mengulangi pada satu file atau memvalidasi kumpulan data lengkap:

  • Sinkronisasi (real-time): disetel ke true pada TransformData permintaan untuk menjalankan deteksi drift pada satu file dan mendapatkan hasilnya kembali dalam respons API. DriftDetectionEnabled Ini adalah cara tercepat untuk memeriksa cakupan saat Anda membuat profil: konversi satu dokumen representatif, lihat persis apa yang dilewatkan profil, perbaiki pemetaan, dan coba lagi.

  • Massal (asinkron): aktifkan deteksi penyimpangan pada pekerjaan transformasi untuk mengukur cakupan di seluruh kumpulan data. Laporan ditulis sebagai pekerjaan LevelDriftResult.json di lokasi keluaran Amazon S3 pekerjaan. Untuk C-CDA pekerjaan, laporan penyimpangan per file juga ditulis di bawah folder driftDetectionPerFileResults/, sehingga Anda dapat menentukan kesenjangan cakupan dalam file sumber individual.

Akses MCP

Model Context Protocol (MCP) mengekspos Agen Transformasi Data ke agen IDE-based AI sebagai alat yang dapat dipanggil, sehingga pengembang dapat membuat profil, menjalankan konversi, dan menyelidiki kegagalan dari asisten di IDE mereka: tanpa beralih ke. Konsol Manajemen AWS

  • API manajemen profil dan pekerjaan: semua profil Agen Transformasi Data dan API manajemen pekerjaan tersedia sebagai alat MCP, sehingga Anda dapat membuat, mengedit, menerbitkan, dan menjalankan pekerjaan dari MCP-compatible klien mana pun.

  • Setiap klien MCP: bekerja dengan MCP-compatible IDE dan asisten, termasuk Kiro dan Cursor.

  • Sesi tahan lama: mendukung sesi multi-putaran, sehingga percakapan debugging atau penulisan memiliki konteks.

catatan

Operasi konversi sinkronisasi (TransformData) dan validasi sumber (ValidateSource) adalah REST-only dan mungkin tidak muncul sebagai alat MCP. Agen Anda dapat membuat dan menjalankan panggilan REST atas nama Anda: lihat Langkah 3: Menguji dengan konversi sinkronisasi untuk format permintaan.

Karena MCP berbagi permukaan API yang sama dengan AWS CLI dan SDK untuk operasi profil dan pekerjaan, tidak ada kesenjangan kemampuan untuk alur kerja tersebut antara bekerja di IDE Anda dan bekerja melalui kode atau. Konsol Manajemen AWS Lihat Memulai dengan MCP untuk pengaturan dan contoh alur kerja.