AI Apps
Azure OpenAI Service
Model bahasa, penalaran, dan embedding yang dipanggil workload, dirilis di dalam subscription dan jaringan Azure milik pelanggan sendiri.
Produk
Azure OpenAI ServiceAzure OpenAI Service menyediakan model bahasa, penalaran, embedding, dan audio realtime yang dipanggil workload AI, dirilis di dalam subscription Azure milik pelanggan. Prompt dan respons tidak dipakai untuk melatih model. Deployment bersifat regional, sehingga residensi data menjadi konfigurasi, bukan janji, dan aksesnya melewati Microsoft Entra ID serta kontrol jaringan seperti sumber daya Azure lainnya. Function calling memungkinkan model meminta tool yang didefinisikan aplikasi, embedding menjadi dasar sisi vektor pada retrieval, dan model realtime membawa suara masuk dan keluar dalam satu koneksi, bukan rantai transkripsi lalu sintesis.
Cara kerjanya
- Deployment dibuat di region pilihan dengan kuota yang disepakati, sehingga latensi dan residensi data ditentukan, bukan diwarisi.
- Aplikasi melakukan autentikasi dengan managed identity melalui Microsoft Entra ID, sehingga tidak ada kunci model yang disimpan di konfigurasi aplikasi.
- Model embedding mengubah dokumen dan pertanyaan menjadi vektor, dan inilah yang memungkinkan hybrid retrieval di Azure AI Search.
- Model chat dan penalaran menerima konteks hasil retrieval sebagai grounding, dengan prompt yang dirangkai aplikasi, bukan oleh model.
- Function calling memungkinkan model meminta salah satu tool yang telah dideklarasikan aplikasi, dan aplikasi yang memutuskan menjalankannya atau tidak.
- Model realtime membawa percakapan suara dalam satu koneksi, menghindari jeda yang muncul dari rantai transkripsi dan sintesis terpisah.
- Filter konten, kuota, dan metrik per deployment dipantau, sehingga biaya dan tingkat penolakan terlihat sebelum menjadi tiket dukungan.
Persoalan yang diselesaikan
Sebuah tim ingin memakai model bahasa terkini tetapi tidak boleh mengirim dokumen korporat ke endpoint publik, dan tidak dapat menjelaskan kepada regulator di mana datanya diproses. Azure OpenAI Service menempatkan deployment di dalam subscription dan region milik pelanggan, di balik kontrol identitas dan jaringan mereka, sehingga pertanyaan ke mana data itu pergi terjawab oleh konfigurasi sumber dayanya.