00:00:00Pagi ini saya terbangun melihat postingan di X ini yang menyebutkan bahwa Anthropic sepertinya menarik
00:00:09plug kode Cloud Code dari paket Pro sehingga Anda membutuhkan paket langganan
00:00:17yang lebih mahal agar bisa menggunakan Cloud Code atau menggunakan langganan Anda di Cloud Code.
00:00:22Nah, Anthropic dengan cepat berkomentar mengenai hal ini dengan menyebutkan bahwa ini hanyalah
00:00:27uji coba kecil yang mereka jalankan pada hanya 2% pendaftar prosumer baru.
00:00:32Saya merasa agak aneh melakukan uji coba semacam ini dan saya juga berpikir bahwa Anthropic bisa
00:00:40melihat apa yang akan terjadi ketika menjalankan uji coba seperti ini, dampak yang akan ditimbulkan oleh uji coba seperti ini
00:00:47terhadap citra mereka dan apa yang akan dipikirkan orang karena tentu saja hal ini sangat sesuai dengan narasi
00:00:53atau apa yang sudah kita lihat di mana kita mendapatkan penggunaan yang lebih sedikit dari langganan kita, kita melihat
00:00:59batas yang lebih kuat atau batas yang lebih ketat, kita melihat penurunan kinerja model karena sepertinya semua
00:01:08hal ini terjadi selama beberapa minggu terakhir. Maksud saya, Anthropic secara agresif menindak
00:01:14penggunaan langganan mereka di luar Cloud Code. Jika Anda ingin menggunakannya dengan Open Cloud
00:01:21misalnya, mereka menindak hal itu sehingga semuanya memberi kita gambaran yang jelas dan lebih besar.
00:01:28Dan apa yang cocok dengan gambaran atau narasi itu adalah artikel berita yang diterbitkan GitHub beberapa
00:01:37hari yang lalu di mana mereka memperjelas bahwa mereka akan menghentikan pendaftaran baru untuk GitHub Copilot Pro,
00:01:43Pro Plus, dan paket Pelajar serta bahwa mereka memperketat batas penggunaan untuk paket individu
00:01:49dan yang terpenting adalah model Opus tidak lagi tersedia di paket Pro dan itu
00:01:56tentu saja semua masuk akal tetapi kita harus menggali lebih dalam tentang ekonomi dari apa yang terjadi
00:02:02untuk memahami mengapa ini terjadi dan yang terpenting apa artinya ini bagi kita juga di
00:02:07masa depan. Ini jelas berarti bahwa hari-hari penggunaan tak terbatas dan subsidi besar-besaran sudah berakhir dan untuk memahami
00:02:17hal ini kita harus memahami ekonomi dari langganan ini dan penggunaan token atau Anda bisa mengatakan
00:02:25konsumsi token karena tentu saja model langganan ini ditawarkan oleh Anthropic, oleh
00:02:34OpenAI, oleh GitHub, mereka benar-benar hanya berhasil jika sebagian besar pengguna tidak benar-benar menggunakan semua
00:02:43penggunaan yang tersedia bagi mereka. Itu cukup banyak kasus untuk setiap penawaran langganan di luar sana
00:02:49bukan hanya untuk langganan AI ini. Jika Anda memiliki langganan Netflix dan Anda menghabiskan 24/7 menonton
00:02:56Netflix, Anda mungkin kemungkinan besar tidak akan menjadi pelanggan yang sangat menguntungkan bagi mereka, tetapi kebanyakan orang
00:03:02tidak melakukan itu dan begitulah cara perusahaan-perusahaan ini dapat memperoleh keuntungan. Itu benar untuk semua langganan
00:03:10jelas. Sekarang kita bisa melihat harga sebenarnya atau harga yang lebih mendekati harga sebenarnya dari permintaan AI kita
00:03:19jika kita melihat halaman harga API dari perusahaan-perusahaan ini, di sana misalnya kita bisa melihat
00:03:26bahwa model terbaru dari Anthropic, Claude Opus 4.7 memiliki harga token input lima dolar per
00:03:35juta token dan harga token output 25 dolar per juta token dan kita bisa meletakkannya
00:03:42dalam hubungan dengan model lain yang mereka miliki, tentu saja kita juga bisa meletakkannya dalam hubungan dengan apa yang ditawarkan OpenAI
00:03:47untuk contoh. Di sana kita melihat bahwa GPT 5.4 yang mungkin digunakan oleh sebagian besar pengguna codex saat ini memiliki
00:03:54harga input dua dolar lima puluh sen per juta token jadi hanya setengah dari apa yang kita miliki untuk Opus 4.7
00:04:03dan bahwa kita memiliki harga output 22,50 jadi sedikit lebih rendah dari apa yang kita lihat untuk Opus. Nah
00:04:11mungkin adil untuk berasumsi bahwa harga API ini adalah harga yang membuat perusahaan-perusahaan ini
00:04:20berada di titik impas atau keuntungan kecil mengenai margin kotor mereka, jadi jika kita hanya melihat
00:04:29biaya inferensi secara spesifik kita mungkin bisa berasumsi bahwa mereka akan mendapatkan keuntungan jika Anda menggunakan API mereka.
00:04:36Nah tentu saja untuk itu penting untuk memahami bahwa biaya menjalankan model AI
00:04:43pada akhirnya bergantung pada dua faktor utama, yaitu pelatihan model AI yang memakan biaya dan
00:04:53itu adalah inferensi tentu saja, jadi kita memiliki dua faktor di sini yang ikut berperan bagi perusahaan-perusahaan
00:04:59AI ini. Nah tentu saja biaya pelatihan adalah hal yang satu kali, jadi Anda melatih model sekali
00:05:06dan itu sangat mahal tetapi jelas itu adalah hal yang satu kali, tentu saja perusahaan-perusahaan ini kemudian
00:05:12melatih lebih banyak model dan itu adalah biaya satu kali yang baru untuk setiap model tetapi setelah model dilatih
00:05:18itu tidak lagi mengeluarkan biaya pelatihan kecuali mungkin untuk menjalankan fine-tuning lebih lanjut atau model turunan
00:05:25dari model dasar itu tapi ya bagian besar dari biaya hanya terjadi sekali. Nah untuk inferensi
00:05:33tentu saja itu berbeda, ini adalah biaya yang berkelanjutan, ini per permintaan pada akhirnya karena tentu saja
00:05:41inferensi adalah proses menghasilkan output konkret untuk prompt Anda, untuk tugas yang Anda kirim
00:05:48ke penyedia model dan inferensi tentu saja adalah apa yang terjadi sepanjang waktu ketika Anda menggunakan
00:05:53Claude Code, ketika Anda menggunakan codex tetapi juga tentu saja ketika Anda mengirim prompt di ChatGPT atau di
00:05:58cara lain. Nah ini tentu saja di mana Anda ingin setidaknya impas dengan harga API Anda
00:06:07karena jika tidak, itu berarti Anda kehilangan uang pada setiap permintaan yang Anda terima dan sementara Anda bisa
00:06:13tentu saja melakukannya untuk meningkatkan pangsa pasar Anda dan sementara saya tidak akan mengesampingkan bahwa perusahaan-perusahaan
00:06:19sesekali melakukan itu, melakukannya dalam jangka panjang tentu saja tidak akan layak karena Anda akan bangkrut
00:06:25keluar dari bisnis. Nah tentu saja Anda juga perlu mendapatkan biaya pelatihan Anda di beberapa titik, jadi idealnya
00:06:34permintaan masuk yang dikirim pengguna Anda kepada Anda memberi Anda margin kotor yang cukup pada
00:06:41biaya inferensi Anda sehingga margin itu juga menutupi biaya pelatihan Anda, biaya staf Anda, dan sebagainya. Jadi tentu
00:06:48saja itu adalah ekonomi tentang bagaimana Anda bisa menjalankan dan menggunakan model AI ini. Nah seperti disebutkan
00:06:57harga API mungkin adalah bagian di mana perusahaan-perusahaan ini tidak kehilangan uang dalam jumlah besar
00:07:02tetapi tentu saja sebagai konsumen, sebagai pelanggan, Anda melakukannya jika Anda menggunakan Claude Code dengan harga
00:07:10sesuai permintaan Opus, Anda akan membayar jauh lebih banyak daripada jika Anda menggunakan langganan mereka
00:07:18karena tentu saja dengan langganan maksimal misalnya hanya 200 dolar Anda mendapatkan
00:07:26banyak penggunaan dari paket ini, Anda akan mendapatkan jutaan token dari paket ini dan jika Anda
00:07:34melihat apa yang biasanya harus Anda bayar untuk token output per juta token, Anda dapat melihat bahwa
00:07:39biasanya jika Anda mengabaikan token input yang seharusnya tidak Anda abaikan, tetapi jika Anda mengabaikannya untuk dua ratus
00:07:44dolar ini kita bahkan seharusnya tidak mendapatkan 10 juta token output bukan? karena satu juta
00:07:51memakan biaya 25 dolar jadi kita hanya seharusnya mendapatkan delapan juta token output dan kemudian jika Anda mempertimbangkan
00:07:56token input, itu akan kurang dari itu dan jelas jika Anda memiliki sesi berjalan yang lama, jika Anda telah
00:08:02menggunakan Claude Code selama seminggu, Anda dan Anda melacak penggunaan token Anda, Anda akan melihat bahwa Anda
00:08:08bisa melampaui batas itu dan Anda pasti bisa di masa lalu dan itu membuat jelas mengapa
00:08:14perusahaan-perusahaan mencoba membatasi berapa banyak penggunaan yang bisa Anda dapatkan dari langganan Anda
00:08:19dan mengapa saya pikir kita akan melihat harga langganan yang lebih tinggi di masa depan, mungkin sudah
00:08:25dalam waktu dekat. Nah tentu saja tidak super mudah bagi perusahaan-perusahaan ini untuk menaikkan harga mereka
00:08:30karena pangsa pasar, jelas semua perusahaan ini ingin secara agresif merebut pangsa pasar
00:08:37alasannya adalah jika Anda adalah perusahaan utama yang ditetapkan sebagai penyedia agen coding di
00:08:45banyak perusahaan di luar sana, di banyak perusahaan di luar sana, mereka mungkin akan membayar harga langganan yang lebih tinggi
00:08:51di masa depan, jadi Anda tidak ingin mulai menaikkan harga terlalu dini karena itu bisa
00:08:57mendorong beberapa pelanggan Anda ke kompetisi, yang tentu saja tidak Anda inginkan. Di sisi lain
00:09:02Anda tidak ingin bangkrut, maksud saya misalnya OpenAI baru saja mengumpulkan 122 miliar dolar
00:09:09untuk mempercepat fase AI berikutnya dan Anda bisa membaca bahwa ini hanya akan memberi mereka
00:09:17sekitar 18 bulan landasan pacu jadi 18 bulan sampai mereka perlu mengumpulkan dana lagi jadi jelas Anda tidak bisa
00:09:26terus mensubsidi semua penggunaan itu selamanya karena jika Anda bangkrut maka semua pelanggan Anda
00:09:32akan lari ke kompetisi Anda pula, jadi ada trade-off di sini dan tentu saja itulah tepatnya
00:09:39posisi sulit yang dihadapi perusahaan-perusahaan ini saat ini, itulah ekonomi di sini. Nah tentu saja seperti yang Anda
00:09:44mungkin baca dan juga rasakan jika Anda seorang gamer misalnya, kita berada di titik waktu di mana karena
00:09:52semua hal AI yang terjadi, kita menghadapi kelangkaan dan krisis komputasi yang besar serta harga yang tinggi untuk
00:10:01memori dan semua yang terkait dengan apa yang dibutuhkan model AI dan pusat data AI ini, sehingga
00:10:08memori itu mahal karena inferensi membutuhkan banyak memori jika Anda mencoba menjalankan model
00:10:13secara lokal pada sistem Anda, Anda tahu Anda membutuhkan banyak memori untuk itu, sehingga harga memori naik
00:10:19tetapi bukan hanya memori, itu juga peralatan jaringan karena tentu saja Anda menjalankan baik pelatihan
00:10:25maupun inferensi bukan pada satu chip, tetapi pada rak dan kluster chip yang sangat besar dan semua kluster ini
00:10:31membutuhkan koneksi antara kluster, antara chip sehingga Anda dapat membangun super
00:10:36GPU bisa dikatakan dan peralatan jaringan ini sangat diminati dan karenanya mahal dan kemudian tentu saja
00:10:43kita juga memiliki energi dan pusat data, kita membutuhkan keduanya, kita membutuhkan pusat data untuk meletakkan chip-chip itu dan itulah
00:10:52mengapa banyak konstruksi terjadi di sana, tetapi kemudian pusat data ini, mereka membutuhkan energi, bukan? dan Anda
00:10:58pernah mendengar tentang itu juga, energi adalah masalah besar lainnya, Anda tidak bisa mendapatkannya dari jaringan listrik, itu sama sekali tidak
00:11:05dibangun untuk itu, tidak ada cukup energi yang tersedia di sana, itulah mengapa semua pusat data baru ini
00:11:12beralih ke solusi di luar jaringan, jadi di mana energi diproduksi di sebelah pusat data dengan turbin gas
00:11:21atau tenaga nuklir, tetapi tentu saja semua itu butuh waktu dan juga butuh komponen dan tidak ada jumlah
00:11:28perusahaan yang tidak terbatas yang dapat membangun pembangkit listrik ini, tidak ada jumlah komponen yang tidak terbatas
00:11:35yang dibutuhkan untuk membangun pembangkit listrik ini, jadi itu semua membatasi jumlah
00:11:42komputasi yang bisa online yang pada gilirannya hilang untuk inferensi dan tentu saja juga untuk
00:11:48pelatihan. Nah secara historis dan dengan itu maksud saya hanya seperti satu atau dua tahun yang lalu, insentif untuk
00:11:54perusahaan-perusahaan ini adalah untuk mendedikasikan banyak sumber daya komputasi menuju pelatihan karena itu memberi Anda
00:12:00model yang lebih baik yang memungkinkan Anda tetap di depan atau maju dalam perlombaan AI dan insentif itu masih ada tetapi
00:12:07tentu saja saat ini juga ada insentif yang lebih besar dan kepentingan yang lebih tinggi di sini pada bagian inferensi
00:12:14karena bagian inferensilah yang memberi Anda pelanggan, yang memberi Anda visibilitas di pasar
00:12:19karena jika tidak ada yang bisa menggunakan model Anda maka hebat bahwa Anda memiliki model yang bagus, tetapi Anda tidak
00:12:25mendapatkan pangsa pasar apa pun, jadi Anda membutuhkan inferensi yang telah menjadi jauh lebih penting sehingga perusahaan-perusahaan harus
00:12:30membagi sumber daya komputasi yang langka dan kapasitas pusat data antara dua tujuan ini dan tentu
00:12:38saja terutama sejak awal tahun ini kita juga melihat perubahan perilaku penggunaan pelanggan
00:12:45artikel berita GitHub di sini sebenarnya cukup terbuka tentang ini, alur kerja agenik telah
00:12:51secara fundamental mengubah permintaan komputasi co-pilot, sesi paralel berjalan lama sekarang secara rutin
00:12:57mengkonsumsi jauh lebih banyak sumber daya daripada struktur paket asli yang dibangun untuk didukung dan sama tentu saja untuk
00:13:04Anthropic dan OpenAI di masa lalu dan sekali lagi ini hanya berarti seperti setahun yang lalu atau lebih
00:13:10perusahaan-perusahaan ini tidak terutama tetapi dalam skala besar benar-benar hanya berfokus pada sesi obrolan sesekali, seorang
00:13:20pengguna, seorang pelanggan sesekali akan datang dan menanyakan ChatGPT atau Claude sebuah pertanyaan dan tentu saja itu
00:13:27bisa jadi berkali-kali sehari tetapi itu hanya beberapa pertanyaan, hanya beberapa jawaban,
00:13:33beberapa pertanyaan tindak lanjut, tentu saja jauh lebih sedikit token daripada semua alur kerja agenik yang berjalan lama ini
00:13:39dan sesi coding atau alur kerja agenik apa pun yang Anda jalankan, Anda membakar ratusan ribu
00:13:44dan jutaan token dengan cepat, sangat cepat jauh lebih cepat daripada yang bisa Anda lakukan hanya dengan sesi obrolan sesekali Anda.
00:13:51Nah mengingat fakta bahwa semua model modern yang kita hadapi adalah model berpikir, biasanya jumlah token juga menjadi
00:13:58lebih tinggi dibandingkan setahun atau dua tahun yang lalu karena respons hanya memakan lebih banyak token karena
00:14:05proses berpikir itu, yang tentu saja masih merupakan token meskipun Anda tidak melihatnya dalam respons akhir
00:14:12mungkin, jadi karena itu jumlah token yang dikonsumsi menjadi jauh lebih besar sekarang daripada setahun atau dua tahun
00:14:17lalu, sekali lagi membawa kita ke titik bahwa inferensi menjadi lebih penting karena Anda membutuhkan jauh
00:14:24lebih banyak inferensi untuk menangani semua pembuatan token yang sedang berlangsung dan itulah alasan mengapa semua
00:14:29model baru ini cukup mahal jika digunakan melalui API tetapi yang lebih penting mengapa
00:14:37langganan ini begitu sulit bagi perusahaan-perusahaan ini saat ini, mereka memperkenalkan langganan tersebut
00:14:43di masa lalu ketika ada jauh lebih sedikit token yang dikonsumsi dan sekarang mereka berada di titik
00:14:49di mana untuk harga langganan yang sama orang sekarang menggunakan jauh lebih banyak token, itulah kesulitannya
00:14:56sekarang, terutama bagi Anthropic misalnya saya bisa membayangkan mereka merasakan rasa sakit sedikit lebih
00:15:03daripada OpenAI, bukan hanya karena model mereka tampaknya lebih mahal untuk dijalankan jika Anda hanya melihat
00:15:09pada harga API, tetapi juga tentu saja karena secara historis bahkan setahun yang lalu Anthropic
00:15:16sudah memiliki lebih banyak pelanggan perusahaan dan bisnis yang baik bagi mereka sampai tingkat tertentu, itu adalah basis pendapatan yang stabil
00:15:22dan ChatGPT atau OpenAI lebih berbasis konsumen, mereka memiliki lebih banyak orang normal, konsumen normal
00:15:29sebagai pelanggan dan sekarang mereka juga bergerak lebih ke arah bisnis tetapi secara historis karena mereka
00:15:38memiliki momen ChatGPT, mereka memiliki lebih banyak orang normal sebagai pelanggan, kerugian bagi Anthropic sekarang tentu
00:15:43saja adalah bahwa pelanggan bisnis ini adalah pelanggan yang persis menjalankan alur kerja agenik ini
00:15:50atau yang cenderung menjalankan alur kerja agenik ini, maksud saya ibu dan ayah Anda jika mereka
00:15:55membayar untuk ChatGPT sama sekali, yang mungkin tidak mereka lakukan, mereka tidak menjalankan alur kerja agenik
00:16:00tetapi Anda iya, perusahaan Anda iya, dan tentu saja itu membuat langganan menjadi lebih sulit untuk
00:16:06Anthropic saya bayangkan daripada untuk OpenAI di mana masih ada banyak orang normal dalam langganan
00:16:11saya kira tetap saja mereka pasti merasakan rasa sakit juga dan apa arti semua ini sekarang? apa
00:16:18perubahan seperti ini atau perubahan seperti di postingan X ini di mana Anthropic menjalankan tes untuk menarik Claude Code
00:16:24dari paket yang lebih murah, apa arti semua ini bagi kita? Saya pikir cukup jelas kita akan melihat
00:16:32batas yang lebih ketat di masa depan dan karena itu kita tentu saja mungkin mencapai titik di mana langganan
00:16:38tidak lagi terasa sepadan dan saya pikir itu akan menjadi titik di mana kita akan melihat
00:16:42harga yang lebih tinggi, tidak masuk akal saya pikir untuk percaya bahwa langganan coding ini atau umumnya
00:16:48langganan penggunaan agenik ini akan memakan biaya ribuan dolar sebulan di beberapa titik, tidak tahun ini
00:16:55paling mungkin, tetapi di beberapa titik karena tentu saja perusahaan mungkin mulai membandingkan biaya
00:17:03langganan ini terhadap biaya karyawan, ya dan itu tentu saja bukan kabar baik dan itu
00:17:10mungkin sama sekali salah, tetapi itu jelas apa yang saya pikir akan terjadi dan tentu saja ketika Anda membuat
00:17:17perbandingan itu, ada banyak ruang bagi langganan ini untuk menjadi jauh lebih mahal
00:17:23jelas. Langganan tersebut kemudian tidak akan untuk orang normal lagi, jadi saya pikir kita juga akan melihat
00:17:30penawaran langganan baru untuk mereka yang hanya memiliki batas penggunaan yang jauh lebih ketat yang cukup
00:17:35untuk ChatGPT tetapi tidak cukup untuk alur kerja agenik, tetapi untuk penggunaan profesional untuk alur kerja agenik
00:17:41kita akan melihat batas yang lebih ketat dan harga yang lebih tinggi, saya tidak yakin kapan karena Anda tahu pangsa
00:17:47pasar kan? jadi apa yang saya sebutkan sebelumnya, tetapi pada akhirnya kita akan melihat itu karena pada akhirnya
00:17:52seperti yang disebutkan, OpenAI memiliki sekitar 18 bulan landasan pacu, mereka mungkin ingin tetap dalam bisnis
00:17:58sama untuk Anthropic dan karena itu adalah apa yang saya pikir akan kita lihat di sini dalam setahun atau lebih, saya tidak tahu
00:18:03sama untuk Anthropic dan karena itu adalah apa yang saya pikir akan kita lihat di sini dalam setahun atau lebih, saya tidak tahu