Self-hosting model AI: akun-akun yang tetap meminta nomor telepon

Menjalankan model bahasa di perangkat keras yang kamu sewa, dari weights yang kamu unduh sendiri, adalah bagian yang diam-diam sudah menjadi mudah. Satu perintah menarik model, perintah kedua menjalankan server, dan semuanya ditagih per detik. Yang tidak mudah adalah semua hal di sekitarnya: hub yang membatasi akses unduhan, platform tempat model itu seharusnya menjawab, registry yang menyimpan container-mu, dashboard yang memberi tahu apakah GPU-nya masih hidup. Beberapa di antaranya akan berhenti dan meminta nomor telepon, dan mereka akan memintanya di saat yang paling tidak nyaman.

Panduan ini membahas celah tersebut. Berapa sebenarnya biaya menjalankan setup self-hosted, akun-akun di sekitarnya mana yang benar-benar mewajibkan nomor dan mana yang hanya tampak begitu, serta kapan kode sekali pakai menjadi alat yang tepat — dan kapan bukan.

Apa saja yang sebenarnya terlibat dalam self-hosting #

Model self-hosted terdiri dari empat komponen yang bergerak, dan hanya satu di antaranya adalah model itu sendiri.

• Komputasi — GPU dengan memori yang cukup untuk menampung weights, disewa per jam atau per detik. Ini satu-satunya bagian yang ditagih secara berkelanjutan.
• Weights — diunduh sekali dari sebuah hub model. Sebagian besar model open-weight hanya butuh satu kali masuk akun; sebagian kecil berada di balik permintaan akses.
• Antarmuka — hal yang benar-benar diajak bicara orang: bot Telegram, bot Discord, endpoint web, API internal.
• Infrastruktur pendukung — registry container, tempat menyimpan secrets, dan sesuatu yang mengawasi mesin tersebut.

Permintaan nomor telepon tidak pernah datang dari model itu sendiri. Itu datang dari antarmuka dan infrastruktur pendukungnya, yang merupakan akun konsumen dan developer biasa dengan aturan anti-penyalahgunaan yang lazim.

Komputasi itu disewa, dan itulah bagian yang murah #

Memiliki kartu GPU sendiri sudah lama tidak lagi masuk akal bagi kebanyakan orang. Perangkat keras yang mampu menampung model 70B tanpa kuantisasi harganya lebih mahal dari mobil bekas dan menganggur hampir sepanjang minggu; kartu yang sama, disewa per detik, harganya lebih murah dari makanan take-away untuk semalam bekerja. Penagihan per detik adalah detail yang penting — pekerjaan yang memakan waktu empat menit seharusnya berharga empat menit, bukan dibulatkan ke atas jadi satu jam.

Itu adalah tarif on-demand yang dipublikasikan di PowerGPU, yang mencantumkan 79 model NVIDIA dan menetapkan setiap harga berdasarkan median pasar publik, bukan lewat lelang, jadi angka yang tertera di halaman itu adalah angka yang kamu bayar. Penagihan dilakukan per detik, pembayaran dalam crypto, dan tidak ada pemeriksaan identitas yang menghalangi antara kamu dan instance pertamamu. Untuk proyek yang sengaja kamu jaga terpisah dari namamu sendiri, poin terakhir itulah alasan utama untuk melirik ke sana, bukan ke hyperscaler.

Akun mana yang meminta nomor, dan kapan #

Permintaan ini tidak tersebar merata. Sebagian platform mengutamakan nomor telepon sejak awal dan sama sekali tidak akan membuka akun tanpanya; platform lain hanya bertanya ketika ada sesuatu pada sesi itu yang tampak tidak dikenal. Mengetahui kamu berada di kasus yang mana akan menghemat uang sekaligus mencegah nomor yang terbuang percuma.

Ada dua pola yang perlu dibedakan, karena masing-masing membutuhkan solusi yang berbeda. Nomor yang diminta sekali, saat pendaftaran, adalah sebuah gerbang: kamu melewatinya dan itu tidak akan muncul lagi. Nomor yang diminta belakangan, pada login yang tidak dikenali platform, adalah sebuah tantangan: itu bisa muncul lagi, dan akan selalu muncul ke nomor yang sama. Memperlakukan sebuah tantangan seolah-olah itu gerbang adalah kesalahan paling umum sekaligus paling mahal dalam seluruh proses ini.

Kode sekali pakai, atau nomor yang kamu simpan #

Jika akun itu hanya akan pernah bertanya sekali, kode sekali pakai adalah pilihan yang tepat: ambil nomor untuk layanan yang sedang kamu gunakan, kode itu datang, lalu nomornya dikembalikan. Jika akun itu adalah sesuatu yang akan kamu masuki lagi dari mesin baru — bot yang masih berjalan enam bulan lagi — nomor itu harus tetap ada saat tantangan itu datang. Untuk itulah nomor sewa digunakan, dan itulah perbedaan antara akun yang kamu pertahankan dan akun yang diam-diam hilang.

Urutan yang berhasil #

1. 1 Tentukan antarmuka terlebih dahulu Apakah model itu menjawab lewat Telegram, Discord, atau endpoint polos menentukan akun apa saja yang kamu butuhkan sama sekali. Endpoint HTTP polos di mesin sewaan tidak membutuhkan akun konsumen sama sekali — jika itu cocok dengan proyekmu, kamu baru saja menghapus semua permintaan nomor telepon di halaman ini.
2. 2 Buat akun-akun sebelum menyewa GPU Akun adalah bagian yang bisa tertunda selama satu jam. GPU ditagih sejak detik ia mulai berjalan. Lakukan penundaan itu selagi belum ada apa pun yang berjalan.
3. 3 Pesan nomor saat permintaannya sudah tampil di layar Sampai ke kolom yang meminta nomor itu, biarkan tetap terbuka, dan baru setelah itu pesan kodenya. Kode ditagih saat ia tiba, dan ia akan tiba entah kamu siap atau tidak. Halaman nomor Telegram dan halaman nomor Discord mencantumkan negara-negara yang saat ini mendukung masing-masing layanan.
4. 4 Pasang faktor kedua segera Begitu akun itu ada, tambahkan aplikasi autentikator dan simpan kode pemulihannya. Itulah yang membuat platform tidak akan pernah perlu menghubungi nomormu lagi — sembilan puluh detik kerja yang menghilangkan satu kelas masalah di masa depan.
5. 5 Baru kemudian jalankan instance Setelah akun beres, sewa GPU-nya, tarik weights-nya, jalankan server-nya. Dari titik ini meteran sudah berjalan dan seharusnya tidak ada lagi yang menyela.

Apa yang tidak bisa dilakukan nomor virtual #

Ada baiknya jujur soal batasannya, karena kegagalannya bisa diprediksi.

• Nomor itu sendiri tidak membuat sebuah akun anonim. Akun itu tetap punya email, jejak pembayaran, dan sidik jari perilaku; nomor hanyalah satu identifier di antara beberapa yang lain.
• Nomor itu tidak bisa melewati layanan yang secara khusus menolak rentang non-mobile — lihat alasan layanan menolak VoIP.
• Nomor itu tidak menghapus sebuah tanda. Jika sebuah platform sudah memutuskan bahwa suatu akun terlihat mencurigakan, kode baru hanya menghapus tantangan yang ada di depanmu, bukan alasan mengapa tanda itu muncul.
• Nomor itu tidak menggantikan faktor kedua. Nomor adalah kanal cadangan; aplikasi autentikator adalah hal yang membuat akun itu tetap menjadi milikmu.

Jika kode berhenti datang di tengah proses setup, penyebabnya hampir tidak pernah ada pada model atau mesinnya — alasan kode verifikasimu tidak pernah sampai membahas beberapa alasan mengapa hal itu benar-benar terjadi.

Bentuk setup yang bertahan #

Versi yang benar-benar bertahan begitu berhadapan dengan kenyataan selalu terlihat mirip setiap kali. Komputasi disewa per detik dan dibayar dalam crypto, sehingga tagihan sesuai dengan pekerjaan dan instance-nya bisa lenyap begitu proyeknya selesai. Weights disimpan secara lokal, sehingga tidak ada yang bisa mencabut aksesmu ke modelmu sendiri. Antarmuka dipilih agar membutuhkan akun konsumen sesedikit mungkin. Dan untuk akun-akun yang memang tidak bisa dihindari, sebuah nomor yang ada sekali untuk gerbangnya, atau tetap ada enam bulan kemudian untuk tantangannya — dipilih dengan sengaja, bukan asal yang paling murah pada hari itu.

Komputasi sudah menjadi bagian yang mudah. Rencanakan akun-akun dengan kehati-hatian yang sama seperti kamu merencanakan GPU-nya, dan sisanya berhenti menjadi hal yang menarik — yang, untuk infrastruktur, memang itulah tujuan akhirnya.