AI Apps
Microsoft Foundry
Platform tempat aplikasi atau agen AI dibangun, dengan katalog model, evaluasi, dan tracing di satu tempat, bukan dirakit ulang tiap proyek.
Produk
Microsoft FoundryMicrosoft Foundry adalah platform tempat aplikasi dan agen AI dibangun, dirilis, dan diamati. Di dalamnya ada katalog model dari beberapa penyedia sehingga sebuah workload dapat diarahkan ke model yang paling sesuai, bukan sekadar model yang dipakai sejak awal, layanan agen untuk pemanggilan tool dan orkestrasi, ruang kerja prompt dan dataset, serta perangkat evaluasi yang menilai groundedness, relevansi, dan keamanan terhadap satu set pertanyaan tetap. Tracing merekam apa yang diambil, apa yang diteruskan ke model, dan apa yang dikembalikan, sehingga jawaban yang salah dapat didiagnosis, bukan diperdebatkan. Filter content safety berada di depan dan di belakang model dengan ambang yang ditetapkan per deployment.
Cara kerjanya
- Sebuah project dibuat dan model yang boleh dipanggil dipilih dari katalog, dengan deployment, region, dan kuota disepakati sebelum desain mengandaikannya.
- Prompt, dataset, dan konfigurasi retrieval disimpan di project, bukan di kode aplikasi, sehingga perubahannya adalah perubahan workload, bukan rilis baru.
- Layanan agen mendaftarkan tool yang boleh dipanggil agen serta menangani perencanaan dan pemanggilannya, sehingga permukaan aplikasi tetap tipis.
- Set evaluasi berisi pertanyaan nyata dijalankan terhadap workload, menilai groundedness, relevansi, dan keamanan, lalu diulang setiap kali model atau prompt berubah.
- Tracing merekam retrieval, prompt yang sudah di-grounding, dan responsnya pada tiap permintaan, sehingga masalah kualitas diperiksa, bukan ditebak.
- Filter content safety dikonfigurasi per deployment, dengan ambang dan kategori yang diblokir dicatat, bukan dibiarkan pada nilai bawaan.
- Workload dirilis di balik kontrol identitas dan jaringan milik pelanggan, dan tim operasinya menerima set evaluasi bersama sistemnya.
Persoalan yang diselesaikan
Sebuah asisten tampil meyakinkan saat workshop, lalu tidak ada yang bisa memastikan apakah kualitasnya membaik atau memburuk, karena tidak ada set pertanyaan penilai dan tidak ada catatan apa yang diambilnya. Microsoft Foundry menyatukan model, prompt, set evaluasi, dan trace dalam satu project, sehingga perubahan model atau prompt diukur dengan pertanyaan yang sama setiap kali, bukan dinilai oleh siapa pun yang terakhir mencobanya.