DRW Nexus

Masalahnya

Tim-tim ingin memakai model bahasa besar. Tiap penyedia menuntut akun sendiri, kartu sendiri, dan penagihan dalam dolar — dan begitu yang terlibat lebih dari segelintir orang, tak seorang pun bisa menjawab dua pertanyaan yang penting: siapa yang membelanjakan ini, dan di mana batasnya.

Memberi tiap orang kunci penyedia mentah memang menyelesaikan soal akses, tapi melahirkan soal yang jauh lebih buruk. Tidak ada plafon, tidak ada penisbatan, dan tidak ada cara mematikan satu orang tanpa merotasi semuanya.

Pendekatannya

Satu titik akhir kompatibel-OpenAI di depan semua penyedia, dibangun di atas LiteLLM dan dijalankan di mesin sendiri. Tiap orang mendapat kunci virtual dengan anggaran bulanan yang menempel, sehingga melampaui batas hanya menghentikan kunci itu, bukan orang lain.

Di atasnya duduk bagian yang membuatnya berguna di luar tim teknis: dompet rupiah dengan isi ulang, laporan biaya per pengguna dan per tim berikut marginnya, serta klien obrolan bawaan dengan penglihatan, pembuatan gambar dan video, untuk orang yang tidak akan pernah menyentuh API. Pencegahan kebocoran data berjalan di gerbangnya, bukan di tiap aplikasi.

Karena semuanya satu titik akhir, menambah model cukup perubahan konfigurasi, dan setiap aplikasi di hilir — termasuk jalur penyusunan draf situs ini sendiri — mewarisinya tanpa perubahan kode.

Hasilnya

Berjalan di produksi sebagai satu-satunya sumber model untuk seluruh aplikasi internal, dengan pemakaian dan biaya yang bisa dinisbatkan per orang, dan plafon keras yang tak bisa terlampaui secara tak sengaja.

Menambah penyedia baru tidak lagi berarti akun baru, kunci baru, atau tagihan baru untuk dicocokkan.