View a markdown version of this page

Fitur Transformasi Data - AWS HealthLake

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Fitur Transformasi Data

Setiap fitur di bawah ini didokumentasikan dengan apa itu, cara kerjanya, perbedaan antara C-CDA dan sumber CSV, dan kapan menggunakannya.

Profil transformasi dan pembuatan versi

Profil transformasi adalah definisi yang dapat digunakan kembali tentang bagaimana format sumber dikonversi ke FHIR R4. Ini memegang logika konversi (template Velocity for C-CDA, konfigurasi pemetaan YAMAL untuk CSV) dan dibuat sekali dan digunakan kembali di semua datastores dan pekerjaan transformasi di akun Anda. Memisahkan definisi (profil) dari eksekusi (pekerjaan) berarti Anda membuat dan menguji konversi satu kali, lalu menerapkan versi publikasi yang sama ke sejumlah pekerjaan.

Membuat profil

Anda membuat profil dengan salah satu dari tiga cara:

  • Dari profil pemula atau dasar: mulai dari profil kerja daripada yang kosong. Untuk C-CDA, Profil AWS Pemula adalah AWS-defined profil bawaan yang menangani format C-CDA dokumen umum di luar kotak. Untuk CSV, Anda menyediakan file sampel di Amazon S3 saat membuat profil, lalu memanggil agen AI untuk menganalisisnya dan menghasilkan konfigurasi pemetaan YAMAL.

  • Dengan mengkloning: kloning profil yang ada sebagai titik awal untuk yang baru.

  • Dari pemetaan mentah: sediakan template Velocity (C-CDA) atau pemetaan YAMB (CSV) secara langsung. Ini adalah jalur untuk menerapkan profil yang dikendalikan versi melalui CI/CD pipeline (lihat). Memulai SDK dan AWS CLI

penting

Membuat profil CSV dengan SampleData mendaftarkan lokasi sampel tetapi tidak menjalankan agen AI. Untuk menghasilkan pemetaan YAMB, Anda harus memanggil UpdateProfileWithAgent setelah pembuatan. Agen menganalisis file sampel Anda pada saat itu dan menghasilkan profil dasar.

Siklus hidup versi

Profil dapat memiliki paling banyak satu draf dan hingga 99 versi yang diterbitkan:

  • Profil baru dimulai sebagai draf (versi 0): salinan kerja yang bisa berubah yang dapat Anda edit dengan bebas.

  • Menerbitkan draf membuat versi bernomor yang tidak dapat diubah (v1, v2, dan seterusnya, hingga v99). Versi yang diterbitkan tidak pernah berubah.

  • Pekerjaan transformasi selalu berjalan melawan versi terbaru yang diterbitkan. Karena draf terpisah, Anda dapat terus mengedit sementara pekerjaan produksi terus berjalan terhadap versi terakhir yang diterbitkan: pengeditan yang sedang berlangsung tidak pernah memengaruhi konversi yang sedang berjalan.

  • Profil dengan versi yang diterbitkan dan suntingan yang tidak dipublikasikan yang lebih baru berada dalam status perubahan yang tidak dipublikasikan; versi yang diterbitkan tetap hidup sampai Anda mempublikasikannya lagi.

Membandingkan dan memutar kembali

Karena setiap versi yang diterbitkan dipertahankan, Anda dapat melihat dengan tepat bagaimana logika konversi berubah selama riwayat versi. Rolling back tidak menghapus apa pun: itu membuat versi baru dari snapshot sebelumnya, sehingga riwayat lengkap dan jejak audit dipertahankan.

Kapan menggunakan versi

Publikasikan versi sebelum menjalankan pekerjaan produksi sehingga pekerjaan disematkan ke logika yang ditinjau. Gunakan rollback ketika perubahan menghasilkan output yang tidak terduga, dan bandingkan untuk mengkonfirmasi perubahan apa yang sebenarnya diubah.

Agen AI Transformasi Data

Agen AI Transformasi Data menghapus upaya manual untuk membuat dan memelihara pemetaan FHIR. Alih-alih menulis logika konversi dengan tangan, Anda menjelaskan hasil yang Anda inginkan dan agen menghasilkan atau memperbarui logika yang mendasarinya: Templat kecepatan untuk C-CDA, konfigurasi pemetaan YAMAL untuk CSV. Agen disematkan di editor profil di Konsol Manajemen AWS dan juga tersedia melalui UpdateProfileWithAgent API dan sebagai alat MCP, sehingga Anda dapat bekerja dengannya dari Konsol Manajemen AWS, dari kode, atau dari MCP-compatible IDE.

Apa yang dilakukan agen

  • Menghasilkan logika konversi dari data Anda. Untuk CSV, agen menganalisis file sampel yang Anda berikan pada pembuatan profil dan menghasilkan profil dasar: menyimpulkan sumber daya dan bidang FHIR target, jadi Anda mulai dari draf kerja daripada profil kosong. Untuk C-CDA, itu menyesuaikan Profil AWS Pemula ke dokumen Anda.

  • Mengedit logika konversi dari bahasa alami. Jelaskan perubahan dalam bahasa sederhana dan agen memperbarui template atau pemetaan yang mendasarinya. Contoh:

    • “Tambahkan pemetaan untuk sumber daya Obat.”

    • “Petakan bahasa pilihan pasien dari bagian LanguageCommunication.”

    • “Tetapkan status default ke Washington untuk sumber daya Pasien.”

    • “Petakan kolom RACE_CD ke ekstensi FHIR.”

    • “Lewati catatan di mana status masuk dalam-kesalahan.”

  • Menjelaskan dan mengulas sebelum mendaftar. Agen menyajikan perubahan yang diusulkan sebagai perbedaan dari template atau pemetaan yang terpengaruh untuk Anda tinjau, dan menerapkannya hanya setelah Anda menerimanya. Tidak ada yang berubah secara diam-diam pada profil yang dipublikasikan, agen hanya membuat perubahan pada versi draf.

  • Menyempurnakan secara iteratif. Bekerja dengan agen di beberapa putaran untuk menyesuaikan pemetaan hingga output yang dikonversi benar, melihat pratinjau hasil terhadap data sampel antara giliran dengan API transformasi sinkronisasi.

C-CDA alur kerja (Templat kecepatan)

Agen mengedit template Velocity yang menentukan bagaimana C-CDA bagian memetakan ke sumber daya FHIR. Meminta untuk menambahkan pemetaan sumber daya, mengubah cara bagian ditafsirkan, menetapkan nilai default, atau menangani variasi dokumen, dan memperbarui template dan mengembalikan perbedaan. Anda melihat pratinjau konversi terhadap C-CDA dokumen sampel sebelum dipublikasikan.

Alur kerja CSV (pemetaan YAMAL)

Saat Anda membuat profil CSV dengan file sampel dan kemudian memanggil agen, profil tersebut akan menganalisis header, nilai sampel, dan pola data dari file Anda, lalu mengusulkan konfigurasi pemetaan YAMAL yang mencakup:

  • Pemetaan bidang kolom-ke-FHIR,

  • deteksi format tanggal dan pemformatan ulang ke format FHIR, date/time

  • terjemahan nilai (misalnya, M → pria, RAWAT INAP → IMP),

  • primary/foreign-hubungan kunci antara tabel,

  • aturan agregasi yang melipat baris tabel anak menjadi array FHIR pada sumber daya induk,

  • asumsi apa pun yang dibuat agen dan pertanyaan apa pun tentang data Anda.

Anda menerima, menolak, atau menyempurnakan setiap pemetaan yang diusulkan, dan dapat meminta agen untuk penyesuaian lebih lanjut. Agen menyimpulkan pemetaan dari sampel file Anda daripada kumpulan data lengkap, jadi berikan sampel yang mewakili data Anda dan tinjau pemetaan yang diusulkan sebelum mengonversi dalam skala besar.

Masukan yang diterima agen

Anda dapat berkomunikasi dengan agen dalam input bahasa alami. Beberapa kombinasi meliputi:

  • instruksi,

  • data sumber sampel (C-CDA bagian atau skema CSV),

  • dokumentasi skema,

  • Kesalahan validasi FHIR dari konversi sebelumnya.

Pengeditan manual

Anda tidak diharuskan menggunakan agen. Anda dapat mengedit template Velocity dan pemetaan YAMAL secara langsung kapan saja, dan mencampur pengeditan manual dengan perubahan yang ditulis agen pada profil yang sama.

Transformasi dan pratinjau sinkron (real-time)

Transformasi sinkron mengonversi satu input dan segera mengembalikan hasil FHIR, daripada menjalankan pekerjaan asinkron melalui Amazon S3. Itu ada untuk dua tujuan: menguji profil saat Anda menulisnya, dan menjalankan transformasi interaktif kecil dalam suatu request/response aliran.

Cara kerjanya

  • Anda mengirimkan satu input ( C-CDA dokumen atau satu set file CSV) terhadap profil dan menerima sumber daya FHIR yang dikonversi sebagai Bundel FHIR dalam tanggapan.

  • Operasi hanya tersedia melalui REST API: tidak diekspos sebagai perintah AWS CLI atau SDK. Lihat Mengakses Agen Transformasi Data.

  • Anda dapat mengaktifkan deteksi drift pada panggilan sinkronisasi dengan menyetel DriftDetectionEnabled ke true untuk melihat, dalam respons, elemen sumber mana yang belum ditangkap profil: berguna saat melakukan iterasi pada pemetaan.

Batas ukuran

Transformasi sinkron menerima C-CDA input hingga 1 MB dan gabungan input CSV hingga 1 MB per permintaan. Untuk kumpulan data yang lebih besar, gunakan pekerjaan transformasi massal.

Pratinjau di Konsol Manajemen AWS

Saat membuat profil di Konsol Manajemen AWS, transformasi sinkron memberi daya pada pratinjau langsung: Anda melihat sumber di satu sisi dan output FHIR yang dikonversi di sisi lain, dan pratinjau diperbarui saat Anda menyempurnakan pemetaan. Gunakan untuk mengonfirmasi bahwa output sudah benar sebelum dipublikasikan.

Kapan menggunakan sinkronisasi vs. massal

Gunakan transformasi sinkron untuk memvalidasi profil terhadap dokumen representatif dan untuk konversi per permintaan yang sensitif terhadap latensi, seperti umpan langsung yang mengonversi dokumen saat dokumen tiba. Gunakan pekerjaan transformasi massal (di bawah) untuk kumpulan data besar dan untuk menelan langsung ke datastore. HealthLake

Pekerjaan transformasi massal (asinkron)

Pekerjaan transformasi massal mengonversi kumpulan data besar dari Amazon S3 menggunakan profil yang dipublikasikan, berjalan secara asinkron saat Anda memantau kemajuan. Ini adalah jalur produksi untuk migrasi dan untuk memuat data ke dalam HealthLake datastore. Silakan merujuk ke halaman ini untuk pengaturan izin IAM.

Cara kerjanya

  • Arahkan pekerjaan ke awalan file sumber Amazon S3, pilih profil yang dipublikasikan, dan pilih tujuan keluaran. Pekerjaan memindai input, mengonversi setiap file (C-CDA) atau kumpulan baris (CSV), dan menulis hasilnya.

  • Tidak ada infrastruktur untuk disediakan: skala pekerjaan secara otomatis.

Mode keluaran

  • Standalone: tulis FHIR yang dikonversi ke lokasi Amazon S3. Gunakan StartDataTransformationJob API.

  • Komposit (konversi dan konsumsi): mengonversi file sumber dan menelan sumber daya FHIR yang dihasilkan langsung ke HealthLake datastore dalam satu langkah, sehingga data segera dapat dikueri. Gunakan StartFHIRImportJob API dengan DriftDetectionEnabled parameter ProfileId, InputFormat, dan opsional. Datastore harus dalam keadaan AKTIF. Lihat Langkah 7: Mengkonversi dan menelan menjadi HealthLake datastore untuk contoh lengkap.

Penanganan kegagalan yang anggun

Masukan yang salah dilewati dan dicatat daripada gagal dalam batch, jadi satu file buruk tidak pernah menghentikan pekerjaan besar. Input gagal ditulis sebagai file kesalahan JSON dengan jalur file input dan pesan kesalahan, sehingga Anda dapat meninjau dan memprosesnya kembali.

Tata letak keluaran

Layanan ini membuat folder dengan cakupan pekerjaan di bawah URI Amazon S3 keluaran Anda menggunakan ID pekerjaan. Di dalam folder itu:

  • dikonversi/: File keluaran FHIR NDJSON (satu per file masukan, misalnya, -record.ndjson). converted/patient

  • ERROR/: detail kesalahan untuk input yang gagal (file JSON dengan bidang InputFile dan ErrorMessage, misalnya,). ERROR/bad-file.json

  • Manifest.json: ringkasan pekerjaan dengan metrik agregat (file dipindai, dikonversi, gagal, sumber daya yang dihasilkan).

  • jobLevelDriftResult.json: laporan drift agregat untuk pekerjaan tersebut, jika deteksi drift diaktifkan.

  • driftDetectionPerFileResults/: untuk C-CDA pekerjaan dengan deteksi drift diaktifkan, laporan drift per file (misalnya, driftDetectionPerFileResults/patient -record_driftMetrics.json), sehingga Anda dapat memeriksa cakupan untuk file sumber individual daripada hanya agregat tingkat pekerjaan.

Memantau

Lacak pekerjaan yang sedang berjalan melalui halaman detail Konsol Manajemen AWS pekerjaan atau DescribeDataTransformationJob API: status, file yang diproses (baris untuk CSV), sumber daya yang dihasilkan, dan kegagalan. Metrik dan log Job juga tersedia di Amazon CloudWatch.

Validasi

Agen Transformasi Data memvalidasi di beberapa titik dalam siklus hidup konversi, sehingga masalah tertangkap sebelum konversi gagal atau output yang tidak sesuai.

  • Validasi sumber: memeriksa apakah C-CDA input terbentuk dengan baik dan sesuai dengan spesifikasi. C-CDA Kesalahan mencakup detail lokasi dan panduan remediasi, sehingga Anda dapat memperbaiki masalah sumber sebelum menjalankan pekerjaan besar. ValidateSource Operasi ini tersedia melalui REST API untuk menyaring input di depan.

  • Validasi template/pemetaan: memvalidasi template Velocity (C-CDA) atau pemetaan YAMAL (CSV) profil secara independen dari data apa pun, sehingga Anda dapat mengonfirmasi bahwa logika konversi terbentuk dengan baik sebelum menerbitkan atau menjalankan pekerjaan.

  • Output validasi FHIR: memeriksa apakah sumber daya yang dihasilkan sesuai dengan FHIR R4, sehingga API FHIR hilir dan datastores menerima output.

Bersama-sama ini berarti pekerjaan gagal lebih jarang karena alasan yang dapat dihindari: validasi sumber menangkap input yang buruk, memetakan validasi menangkap logika yang buruk, dan validasi keluaran mengonfirmasi bahwa hasilnya sesuai standar.

OID-to-URI pemetaan

C-CDA dokumen mengidentifikasi sistem kode menggunakan OID (Object Identifiers): pengidentifikasi numerik lama seperti 2.16.840.1.113883.6.1 (LOINC). FHIR mengharapkan URI sistem modern seperti. http://loinc.org Jika OID dibawa melalui unmapped, nilai sistem yang dihasilkan tidak dapat dioperasikan dan perkakas FHIR hilir tidak dapat menyelesaikan kode. Agen Transformasi Data memetakan di antara mereka selama konversi.

  • Pre-built pemetaan: pemetaan untuk OID perawatan kesehatan umum (misalnya, LOINC, SNOMED CT,, RxNorm) diterapkan secara otomatis ICD-10, tanpa konfigurasi.

  • Pemetaan khusus: tambahkan OID-to-URI pemetaan Anda sendiri untuk sistem kode khusus untuk sumber Anda, sehingga sistem kepemilikan atau lokal menyelesaikannya dengan benar.

Ini berlaku untuk C-CDA sumber, di mana OID adalah cara asli sistem kode diidentifikasi.

Asal

Alur kerja perawatan kesehatan yang diatur perlu menjawab “dari mana data ini berasal, dan bagaimana itu diproduksi?” untuk sumber daya apa pun. Ketika sumber daya diaktifkan pada suatu pekerjaan, Agen Transformasi Data menghasilkan sumber daya FHIR Provenance untuk setiap konversi, memberikan setiap sumber daya keluaran garis keturunan yang lengkap dan dapat dikueri kembali ke sumbernya.

Rantai asal

Asal → DocumentReference → file sumber. Resource Provenance mereferensikan a DocumentReference, yang merekam URI Amazon S3 file sumber dan checksum. SHA-1 Checksum memungkinkan Anda membuktikan bahwa output berasal dari file sumber tertentu yang tidak berubah. Sumber daya Perangkat yang mewakili Transformasi AWS HealthLake Data sebagai entitas juga disediakan jika informasi tersebut diperlukan.

Record-level pencari lokasi

Provenance menyelesaikan tidak hanya ke file sumber tetapi ke lokasi yang tepat di dalamnya, dan pencari lokasi berbeda menurut format sumber:

  • C-CDA: sebuah XPath menunjuk ke elemen sumber sumber daya berasal dari.

  • CSV: nama tabel, kunci utama, dan nomor baris catatan sumber.

Bidang yang ditangkap

Setiap sumber daya Provenance mencatat URI file sumber dan checksum, versi profil yang digunakan untuk konversi, stempel waktu, dan pencari lokasi tingkat rekaman.

Kesesuaian dan penggunaan

Sumber daya asal sesuai dengan profil Asal Inti AS, sehingga mereka beroperasi dengan perkakas AS. Core-aware Aktifkan sumber daya saat Anda membutuhkan auditabilitas untuk kepatuhan, atau ketika Anda perlu melacak sumber daya keluaran yang dipertanyakan kembali ke elemen sumber yang tepat yang menghasilkannya. Asal diaktifkan secara default; disetel ProvenanceEnabled ke false untuk menonaktifkannya.

Deteksi penyimpangan

Konversi dapat berhasil sambil secara diam-diam menjatuhkan data sumber yang belum dipetakan oleh profil. Deteksi drift memunculkan celah itu. Ini adalah laporan: ketika diaktifkan, ia membandingkan apa yang terkandung sumber dengan apa yang sebenarnya dihasilkan oleh profil, dan mencatat apa yang tertinggal.

Apa isi laporan

  • Tingkat cakupan keseluruhan untuk konversi.

  • Daftar peringkat bagian dan elemen sumber yang belum dipetakan, sehingga Anda dapat memprioritaskan kesenjangan dengan dampak tertinggi.

  • Sumber daya yang diharapkan yang tidak diproduksi.

  • Keterlacakan penuh kembali ke file sumber dan lokasi elemen (nama file dan OID untuk C-CDA, baris untuk CSV).

Cara menggunakan deteksi drift

Deteksi drift tersedia di kedua mode konversi, sehingga Anda dapat menggunakannya apakah Anda melakukan iterasi pada satu file atau memvalidasi kumpulan data lengkap:

  • Sync (real-time): atur DriftDetectionEnabled ke true pada TransformData permintaan untuk menjalankan deteksi drift pada satu file dan mendapatkan hasilnya kembali dalam respons API. Ini adalah cara tercepat untuk memeriksa cakupan saat Anda membuat profil: mengonversi satu dokumen representatif, lihat persis apa yang terlewatkan oleh profil, perbaiki pemetaan, dan coba lagi.

  • Massal (asinkron): aktifkan deteksi drift pada pekerjaan transformasi untuk mengukur cakupan di seluruh kumpulan data. Laporan ini ditulis sebagai pekerjaan LevelDriftResult.json di lokasi output Amazon S3 pekerjaan. Untuk C-CDA pekerjaan, laporan drift per file juga ditulis di bawah folder driftDetectionPerFileResults/, sehingga Anda dapat menentukan celah cakupan dalam file sumber individual.

Akses MCP

Model Context Protocol (MCP) mengekspos Agen Transformasi Data ke agen IDE-based AI sebagai alat yang dapat dipanggil, sehingga pengembang dapat membuat profil, menjalankan konversi, dan menyelidiki kegagalan dari asisten di IDE mereka: tanpa beralih ke file. Konsol Manajemen AWS

  • API profil dan manajemen pekerjaan: semua profil Agen Transformasi Data dan API manajemen pekerjaan tersedia sebagai alat MCP, sehingga Anda dapat membuat, mengedit, menerbitkan, dan menjalankan pekerjaan dari MCP-compatible klien mana pun.

  • Setiap klien MCP: bekerja dengan MCP-compatible IDE dan asisten, termasuk Kiro dan Kursor.

  • Sesi tahan lama: mendukung sesi multi-putaran, sehingga percakapan debugging atau authoring memegang konteks.

catatan

Operasi konversi sinkronisasi (TransformData) dan validasi sumber (ValidateSource) adalah REST-only dan mungkin tidak muncul sebagai alat MCP. Agen Anda dapat membuat dan menjalankan panggilan REST atas nama Anda: lihat Langkah 3: Uji dengan konversi sinkronisasi untuk format permintaan.

Karena MCP berbagi permukaan API yang sama dengan SDK AWS CLI dan profil untuk operasi profil dan pekerjaan, tidak ada kesenjangan kemampuan untuk alur kerja tersebut antara bekerja di IDE Anda dan bekerja melalui kode atau. Konsol Manajemen AWS Lihat Memulai dengan MCP untuk pengaturan dan alur kerja contoh.