Model Open Source Ini Baru Saja Mengalahkan Claude Fable 5

CChase AI
컴퓨터/소프트웨어경제 뉴스AI/미래기술

스크립트

00:00:00Apakah model openweight Tiongkok baru saja menumbangkan GPT 5.6 dan Fable 5?
00:00:05Nah, jika Anda sempat membuka YouTube atau Twitter dalam 24 jam terakhir,
00:00:08Anda pasti dibombardir dengan grafik yang menunjukkan KimiK3 berkinerja sama baiknya,
00:00:13bahkan lebih baik, daripada apa yang ditawarkan Anthropic dan OpenAI,
00:00:17semuanya dilakukan dengan sebagian kecil dari harganya.
00:00:20Tapi haruskah Anda percaya dengan gembar-gembor ini?
00:00:22Nah, itulah tepatnya yang akan kita jawab di video hari ini
00:00:24saat kita melihat lebih dalam apa yang sebenarnya diberitahukan oleh tolok ukur ini kepada kita,
00:00:28dan kita melakukan uji head-to-head antara GPT 5.6, Fable 5, dan K3
00:00:34di satu area di mana KimiK3 mencatatkan angka yang lebih baik daripada siapa pun, yaitu desain front-end.
00:00:40Jadi, di akhir video ini, kita akan jauh lebih tahu apakah KimiK3 adalah raja baru.
00:00:46Jadi mari kita mulai dengan angka dan tolok ukur terkait KimiK3
00:00:49karena banyak hal yang bisa kita pelajari dari semua ini
00:00:51dan ada beberapa nuansa yang terlibat di luar grafik
00:00:53yang pernah Anda lihat beredar di mana-mana, kedua grafik ini adalah yang paling populer.
00:00:57Sekarang, ketika kita berbicara tentang KimiK3, ini adalah model open-weight dengan 2,8 triliun parameter.
00:01:02Ketika kita berbicara tentang open-weight, kita berbicara tentang sumber terbuka,
00:01:05ini tidak berarti Anda bisa menjalankannya di komputer Anda.
00:01:07Kita berbicara tentang perangkat keras bernilai jutaan dolar yang diperlukan untuk menjalankan salah satu dari hal ini.
00:01:11Tapi tetap bagus karena ini open-weight,
00:01:12sehingga kita benar-benar bisa melihat bagaimana semua parameternya diatur
00:01:15dibandingkan dengan sesuatu seperti Fable 5 atau GPT 5.6, di mana hal itu tidak terlihat oleh kita.
00:01:20Sekarang, bagaimana performanya dalam hal angka?
00:01:23Ini disajikan kepada kita atas kebaikan Kimi dan lab moonshot mereka,
00:01:27dan menunjukkan bahwa model ini bersaing, sekali lagi, dengan Fable 5 dan GPT 5.6
00:01:31pada semua tolok ukur pemrograman utama ini.
00:01:34Grafik lain yang Anda lihat beredar adalah yang satu ini.
00:01:36Ini berasal dari arena.ai, dan ia mengukur kode front-end mereka.
00:01:40Sekarang, cara kerja tolok ukur ini adalah jika Anda pergi ke arena.ai dan memintanya,
00:01:44hei, buatkan saya halaman landas,
00:01:45ia akan memberi Anda dua respons dari dua model yang berbeda,
00:01:49dan Anda tidak tahu mana yang mana.
00:01:50Ini seperti tantangan Pepsi, dan Anda memilih mana pun yang Anda inginkan.
00:01:53Seiring berjalannya waktu, kita melihat mana yang telah dipilih dibandingkan pesaingnya.
00:01:57Dan saat ini, Kimi K3 telah berkinerja lebih baik daripada model lain di ruang ini.
00:02:01Tapi pahami bahwa ini sangat, sangat subjektif.
00:02:03Jadi, ketika kita melihat kedua grafik ini,
00:02:05dan kita membandingkannya dengan harga di antara model-model ini,
00:02:08kita melihat bahwa Kimi K3 juga sangat murah.
00:02:13Inputnya adalah $3 per satu juta token dibandingkan dengan Fable, yang harganya 10,
00:02:17dibandingkan dengan 5.6, yang harganya 5.
00:02:20Jadi biayanya 60% dari biaya 5.6,
00:02:23dan biayanya 30% dari biaya Fable 5 pada inputnya.
00:02:26Dan dari segi output, biayanya setengah dari 5.6,
00:02:29dan biayanya 30% dari biaya Fable 5.
00:02:32Jadi jauh lebih murah, dan kinerjanya pada dasarnya sama bagusnya, jika tidak lebih baik.
00:02:35Jadi, apa yang tidak disukai?
00:02:36Tapi di sinilah kita perlu mulai menggali lebih dalam
00:02:38terkait biaya dan kecepatan.
00:02:40Karena melihat, oh, per satu juta token,
00:02:43harganya $3 dan yang itu $10 adalah satu hal.
00:02:45Nah, berapa banyak token yang sebenarnya digunakannya?
00:02:46Tidak semua model diperlakukan sama dalam hal efisiensi token.
00:02:49Faktanya, model-model Tiongkok sumber terbuka ini cenderung boros token,
00:02:53yang berarti meskipun di atas kertas, harganya sangat murah.
00:02:56Apa artinya itu dalam kenyataannya?
00:02:57Dan bagaimana perbandingannya dengan model-model ini
00:02:58yang sebenarnya sangat, sangat efisien dalam penggunaan token, seperti GPT 5.6?
00:03:01Nah, jika kita melihat ini dari analisis buatan,
00:03:03yaitu penilai tolok ukur independen,
00:03:05mereka memiliki tugas indeks biaya per kecerdasan.
00:03:09Jadi, berapa biaya untuk menyelesaikan tugas-tugas ini?
00:03:11Jadi Kimi K3, di sini, terlihat $0,95.
00:03:15Dibandingkan GPT 5.6, sole, adalah $1,04.
00:03:20Jadi sedikit lebih mahal.
00:03:23Jika kita melihat 5.5 ekstra tinggi, Anda tahu, itu ada di sini.
00:03:26Jika kita melihat Terra, yaitu 5.6 pada level maksimal,
00:03:29harganya setengah dari harga Kimi K3.
00:03:30Sekarang, dibandingkan dengan Claude, ya, cukup mahal.
00:03:35Fable 5, $2,75.
00:03:38Jadi penghematan biaya ini jelas berlaku
00:03:40ketika kita membandingkan Fable dengan Kimi K3.
00:03:42Namun jika dibandingkan dengan 5.6, tidak banyak perbedaan.
00:03:46Kita berbicara sekitar 10% atau kurang.
00:03:49Dan faktanya, ada kejadian tertentu di mana Terra,
00:03:51beberapa model yang lebih kecil di ranah 5.6 ini,
00:03:54sebenarnya setengah biaya dari Kimi K3.
00:03:56Nah, hal lain yang ingin kita perhatikan adalah waktu,
00:03:58karena waktu tentu saja merupakan mata uang
00:03:59yang ingin kita perhatikan.
00:04:01Secara historis, model-model sumber terbuka dari Tiongkok ini lambat.
00:04:04Dan Anda bisa melihatnya di sini.
00:04:05Model yang paling lambat dari kelompok ini adalah Kimi K2.6 yang lama.
00:04:09Nah, Kimi K3 telah menjadi jauh lebih baik.
00:04:12Dalam grafik ini, kinerjanya berada pada enam menit.
00:04:14Jika kita bandingkan dengan Fable 5,
00:04:17Fable 5 berada pada lima menit dan 5.6 berada pada 4,7.
00:04:21Jadi, Anda tahu, ini kurang efisien dalam penggunaan token dan lebih lambat.
00:04:27Tapi secara keseluruhan, jauh lebih murah daripada Fable 5
00:04:32dan kira-kira setara dengan 5.6.
00:04:34Nah, tolok ukur terakhir yang ingin saya bicarakan
00:04:35adalah indeks kemahatahuan.
00:04:37Ini mengukur halusinasi.
00:04:39Mereka memberi model serangkaian pertanyaan yang sangat sulit
00:04:42yang mungkin diketahui atau tidak diketahui jawabannya oleh model.
00:04:44Dan ini dinilai berdasarkan, apakah jawabannya benar?
00:04:46Apakah jawabannya salah?
00:04:47Atau apakah ia mengatakan, saya tidak tahu?
00:04:49Anda mendapat poin jika jawaban Anda benar.
00:04:50Anda kehilangan poin jika jawaban Anda salah.
00:04:52Dan Anda mendapat nol jika Anda hanya mengatakan, saya tidak tahu.
00:04:54Dan kita bisa melihat di sini, dan ini dari skala 100,
00:04:57Fable 5 mendapat skor terbaik di 40 poin.
00:05:005.6 jauh tertinggal di angka 22.
00:05:03Dan kemudian Kimi K3 berada di 18.
00:05:06Dan saya pikir tolok ukur ini sangat penting
00:05:08jika Anda menggunakan agen-agen ini dalam konteks
00:05:10yang hanya membutuhkan banyak nuansa
00:05:11dan ada banyak area abu-abu.
00:05:13Jadi ketika kita mengambil semua tolok ukur ini bersama-sama
00:05:14secara agregat, saya pikir apa yang harus kita ambil
00:05:16adalah bahwa Kimi K3 di atas kertas sangat kuat.
00:05:19Namun, ketika kita berbicara tentang betapa murahnya harganya,
00:05:21itu agak berlebihan,
00:05:23terutama ketika kita membandingkannya dengan model-model GPT
00:05:25yang sangat efisien dalam penggunaan token.
00:05:27Selain itu, Kimi K3 juga sedikit lebih lambat.
00:05:30Jadi itu hanya menjadi pertanyaan tentang
00:05:32manakah dari tiga hal tersebut yang paling penting bagi Anda
00:05:34terkait kekuatan, biaya, dan kecepatan.
00:05:38Jadi sekarang mari kita pergi ke front
00:05:39dan menguji di antara ketiga model ini.
00:05:40Jadi tepat di sini di sebelah kiri,
00:05:42saya memiliki Fable 5 yang berjalan di dalam Claude Code.
00:05:45Dan di sebelah kanan, saya memiliki Kimi K3
00:05:46juga berjalan di dalam Claude Code.
00:05:49Dan di sini, saya memiliki Codex.
00:05:51Jadi ini adalah perintah yang akan saya berikan.
00:05:54Dan saya mengatakan kepadanya bahwa saya ingin dia membangun
00:05:55dasbor perjalanan dunia 3D
00:05:57yang terasa seperti adegan dari film fiksi ilmiah saya,
00:05:59bukan sekadar situs web.
00:06:01Saya mengatakan kepadanya bahwa saya ingin dia pada dasarnya
00:06:02menjadikannya sebagai tontonan visual.
00:06:04Dan saya ingin dia menjadi agak kreatif.
00:06:06Faktanya, saya katakan kejutkan saya
00:06:08dengan setidaknya satu ide yang belum pernah saya lihat sebelumnya.
00:06:10Saya mencoba untuk tidak terlalu spesifik dengan perintah ini
00:06:13karena saya ingin melihat
00:06:14bagaimana semua model ini berbeda
00:06:15dan apa yang sebenarnya mereka bangun untuk saya.
00:06:16Jadi mari kita uji mereka.
00:06:20Baiklah, jadi ketiganya selesai
00:06:22membangun situs web mereka.
00:06:23Jadi kita akan melihat semuanya.
00:06:24Dan kemudian di akhir,
00:06:25kita akan membandingkan biaya sebenarnya,
00:06:28jumlah token yang digunakan, dan waktunya.
00:06:30Jadi mari kita mulai dengan Kimi 3.
00:06:34Jadi ini dia.
00:06:35Kita punya Bumi 3D.
00:06:37Saya bisa memperbesar dan memperkecil.
00:06:38Saya bisa menggerakkannya.
00:06:41Tidak terlalu tinggi kesetiaannya,
00:06:43tapi tidak apa-apa.
00:06:43Jika saya mengklik sesuatu seperti Mexico City,
00:06:46tidak ada yang benar-benar terjadi.
00:06:51Apa lagi?
00:06:51Ada beberapa poin lain di sini,
00:06:53seperti Cape Town.
00:06:55Di sini di sebelah kiri,
00:06:56ia menunjukkan beberapa rute aktif.
00:06:58Jadi jika saya mengklik rute aktif seperti Tokyo,
00:07:01itu benar-benar membawa saya ke sana.
00:07:02Dan kemudian di sisi kanan,
00:07:04saya akan bergerak sedikit.
00:07:05Kita bisa melihat, Anda tahu,
00:07:07waktunya lama,
00:07:08cuaca,
00:07:09jendela terbaik untuk bepergian ke sana,
00:07:10entri,
00:07:11dan kemudian semacam
00:07:12berapa biayanya sekarang.
00:07:16Dan saat saya mengklik berbagai hal di sini di sebelah kiri,
00:07:19Anda tahu,
00:07:20itu membawa saya ke kota-kota yang berbeda ini
00:07:21serta semua statistik mereka.
00:07:23Jadi secara keseluruhan,
00:07:24keren juga.
00:07:24Dan Anda bisa melihat bagaimana ia juga memiliki Bumi
00:07:26yang terbagi menjadi,
00:07:29Anda tahu,
00:07:29siang hari versus malam hari dan semua itu.
00:07:31Jadi secara keseluruhan,
00:07:31terlihat manis.
00:07:32Sekarang mari kita lihat Fable 5.
00:07:34Jadi langsung saja,
00:07:36saya akan mengatakan grafik ini
00:07:38terlihat sedikit lebih bersih, kan?
00:07:39kan?
00:07:39Jika kita membandingkan keduanya,
00:07:40ini terlihat sedikit lebih tajam.
00:07:43Kita juga memiliki beberapa pencahayaan,
00:07:44yang keren.
00:07:45Kita memiliki hal yang sama seperti
00:07:46siang hari,
00:07:46pembagian waktu malam,
00:07:47tapi saya sebenarnya,
00:07:49saya punya roda gulir,
00:07:51benda kecil tepat di sini
00:07:52tempat di mana saya bisa beralih antara siang dan malam,
00:07:55yang cukup keren.
00:07:57Saya tidak bisa melakukan zoom terlalu jauh,
00:08:00tapi saya bisa melihat lebih banyak kota-kota ini
00:08:02dan tampilannya sedikit lebih berkualitas tinggi.
00:08:04Jadi, jika saya klik salah satunya,
00:08:06kan,
00:08:06sama seperti sebelumnya,
00:08:08memunculkan beberapa statistik.
00:08:09Garis lintang dan bujur menunjukkan kondisi
00:08:11terkait cuaca dan waktu
00:08:12lalu semacam berapa ongkosnya.
00:08:15Menunjukkan ongkos pulang,
00:08:16walaupun saya tidak begitu yakin
00:08:17dari mana sebenarnya asal angkanya.
00:08:19Jika saya klik di sini di sebelah kiri,
00:08:21hal yang serupa,
00:08:22membawa saya ke kota itu.
00:08:24Saya bisa melihat beberapa statistiknya
00:08:25serta berapa biayanya.
00:08:27Saya rasa secara keseluruhan,
00:08:29dari segi polesan antarmuka pengguna
00:08:33antara keduanya,
00:08:34saya pikir saya lebih suka
00:08:36apa yang disuguhkan Fable 5,
00:08:38terutama semacam,
00:08:40kau tahu,
00:08:41hal siang versus malam
00:08:42yang terjadi di dalamnya.
00:08:44Dan yang menarik,
00:08:45sepertinya
00:08:46ketika saya mengubah di mana lokasinya
00:08:48di siang hari,
00:08:48Anda bisa melihatnya memperbarui
00:08:50biaya
00:08:51di sisi kanan
00:08:52tergantung kapan Anda
00:08:53benar-benar mendarat di sana.
00:08:55Jadi cukup bagus.
00:08:56Dan sekarang mari kita lihat GPT 5.6.
00:08:59Jadi pemikiran awal,
00:09:01terasa seperti penurunan
00:09:02dari apa yang kita lihat
00:09:03dengan Kimmy K3
00:09:04dan Fable
00:09:04dari segi bolanya itu sendiri.
00:09:06Seperti bola-bola ini
00:09:07jelas memiliki lebih banyak hal yang terjadi
00:09:09dan jauh lebih
00:09:09sebagai tontonan yang terlihat.
00:09:11Ini,
00:09:11saya pikir mereka hampir lebih memilih
00:09:12tampilan fiksi ilmiah.
00:09:15Yang semacam memiliki seperti, acak,
00:09:17ini seperti,
00:09:17apakah ini seharusnya?
00:09:19Oke.
00:09:20Jadi hal yang sama
00:09:21jika saya klik pada kota-kota tertentu di sini
00:09:23seperti Singapura,
00:09:24ini muncul,
00:09:24tapi ini agak menutupi
00:09:26bola itu sendiri
00:09:27dan semuanya sangat kecil dari segi teks,
00:09:29agak sulit untuk dibaca.
00:09:31Saya memang memiliki di bagian bawah di sini
00:09:33semacam tampilan siang versus malam
00:09:35seperti sapuan
00:09:36seperti yang kita miliki di sana
00:09:37dengan Fable 5,
00:09:39tapi tidak begitu bagus.
00:09:42Dan ketika malam hari,
00:09:43Anda bahkan tidak bisa melihat
00:09:44benua itu sendiri.
00:09:45Saya kira lampu-lampu itu
00:09:46seharusnya seperti kota.
00:09:47Jika saya klik di sini di sebelah kiri,
00:09:49ya,
00:09:50sama seperti sebelumnya
00:09:51membawa kita ke kota-kota yang sebenarnya.
00:09:53Tapi sekali lagi,
00:09:53jelas terasa seperti penurunan
00:09:54dibandingkan dua terakhir yang kita lihat.
00:09:56Jadi secara keseluruhan,
00:09:56ketika kita membandingkan ketiganya,
00:09:57saya akan menempatkan Fable 5 di posisi terdepan.
00:10:00Tidak jauh di belakang,
00:10:02saya akan menempatkan Kimi K3
00:10:04dan kemudian di tempat ketiga,
00:10:05saya akan menempatkan GPT 5.6.
00:10:07Jadi sekarang mari kita bandingkan token,
00:10:09waktu, dan biaya
00:10:10karena kita sudah melihat hasil akhirnya,
00:10:11tapi apa yang sebenarnya
00:10:13harus kita bayar untuk itu?
00:10:15Jadi kita punya Kimi,
00:10:16kita punya Fable
00:10:17dan kemudian kita punya Codex,
00:10:19yang akan saya tulis sebagai X saja.
00:10:21Jadi dalam hal token,
00:10:24Kimi adalah yang paling berat.
00:10:26Dibutuhkan 21,5 juta token
00:10:30untuk menghasilkan itu.
00:10:31Dan dalam hal waktu,
00:10:33butuh satu jam
00:10:35dan 33 menit.
00:10:37Jadi lebih dari 90 menit
00:10:39untuk membuatnya
00:10:39dalam 21,5 juta token.
00:10:42Biaya,
00:10:42dan ini semua berasal
00:10:43dari Open Router,
00:10:44adalah $8,66.
00:10:47Sekarang mari kita bicara tentang Fable.
00:10:49Dalam hal token,
00:10:50itu menggunakan 3,5 juta.
00:10:53Dalam hal waktu,
00:10:55hanya butuh 17 menit
00:10:56dan total biayanya
00:10:58adalah 11,64.
00:11:00Jadi sekali lagi,
00:11:02apa yang saya bicarakan
00:11:02di awal tadi?
00:11:03Kita bicara tentang kecepatan
00:11:04dan efisiensi token.
00:11:06Kimi K3 jelas
00:11:07jauh di belakang Fable
00:11:09dalam hal itu,
00:11:09terutama jika menyangkut
00:11:11masalah waktu.
00:11:11Dan jadi ketika kita melihat
00:11:12biaya per token tersebut
00:11:14per juta,
00:11:15tadinya seperti,
00:11:16oh,
00:11:16itu sepertiga dari biaya
00:11:17Fable.
00:11:18Yah,
00:11:19pada kenyataannya,
00:11:20tidak terlalu.
00:11:20Masih lebih murah dari Fable.
00:11:22Jangan salah paham,
00:11:23tapi tidak seefisien
00:11:25itu.
00:11:26Lalu kita punya Codex,
00:11:27yang saya agak
00:11:28kecewa dengan keluarannya
00:11:28jujur saja.
00:11:29Itu memakan 5,6 juta token.
00:11:32Untuk waktu,
00:11:33itu butuh 25 menit
00:11:35dan total biayanya
00:11:36adalah 5,66.
00:11:38Jika Anda bertanya-tanya
00:11:39seperti token
00:11:40dan biaya
00:11:42dan mengapa itu tidak
00:11:42persis sejajar
00:11:43untuk masukan
00:11:44versus keluaran
00:11:44versus apa yang diiklankan,
00:11:46pahami bahwa ada banyak
00:11:47proses caching yang terjadi
00:11:48untuk ketiganya.
00:11:49Jadi apa artinya ini?
00:11:51Yah,
00:11:52hal besarnya adalah Kimi
00:11:52kan?
00:11:53Sangat berat
00:11:55pada token
00:11:56dan itu memakan waktu selamanya.
00:11:57Itu memakan waktu satu setengah jam.
00:11:59Itu memakan waktu satu jam
00:12:00setengah.
00:12:00Sejujurnya,
00:12:01ketika saya membuat video ini,
00:12:01saya seperti,
00:12:02oh,
00:12:02mungkin saya akan melakukan seperti,
00:12:03kau tahu,
00:12:03tiga,
00:12:04mungkin empat contoh.
00:12:05Tidak,
00:12:06saya tidak akan duduk di sini
00:12:07selama 20 jam untuk melakukan ini.
00:12:09Dan,
00:12:09kau tahu,
00:12:10jadi jauh di belakang
00:12:11di dua tempat itu
00:12:12terhadap model-model mutakhir,
00:12:13tapi secara keseluruhan,
00:12:14keluarannya solid.
00:12:15Kau tahu,
00:12:15menurut saya itu melakukan
00:12:16pekerjaan yang sangat bagus,
00:12:17setelah mempertimbangkan segalanya.
00:12:18Dan yang paling mahal
00:12:19di antara semuanya,
00:12:20jelas,
00:12:20adalah Fable
00:12:21dengan Codex sebagai
00:12:22yang termurah.
00:12:24Jadi, apa yang benar-benar bisa
00:12:26kita ambil dari semua ini?
00:12:27Yah,
00:12:27menurut saya yang bisa kita ambil,
00:12:29setidaknya di sini
00:12:29di sisi pengembangan antarmuka,
00:12:31dan mungkin berlaku
00:12:32sama untuk pengodean
00:12:32jika kita ingin mengambil
00:12:33tolok ukur ini
00:12:33apa adanya,
00:12:34yaitu bahwa Kimi
00:12:36bisa bersaing.
00:12:37Kimi K3
00:12:38adalah model sumber terbuka
00:12:39yang bisa bersaing
00:12:40dengan Fable di 5.6.
00:12:42Namun,
00:12:43ini tidak semurah
00:12:45seperti yang Anda kira.
00:12:46Dalam kasus tertentu,
00:12:47ini justru lebih mahal.
00:12:49Dan ini sangat lambat.
00:12:51Ini sangat lambat.
00:12:54Yang mana menjadi
00:12:55penghalang bagi
00:12:55banyak orang
00:12:56tergantung pada apa yang Anda lakukan.
00:12:58Tapi,
00:12:58jika itu tidak masalah bagi Anda,
00:13:01Anda tahu,
00:13:02maka mungkin itu bukan
00:13:03kekurangan yang terlalu besar.
00:13:03Tapi menurut saya
00:13:04hal besar
00:13:05yang sering terlewatkan
00:13:06dalam tolok ukur
00:13:06dan angka-angka
00:13:07sebenarnya adalah biaya.
00:13:08Benar?
00:13:09Karena ini tidak
00:13:09semurah
00:13:10yang Anda kira
00:13:11karena ketidakefisienan ini
00:13:12ini
00:13:12ketika berkaitan dengan
00:13:14penggunaan token sebenarnya.
00:13:15Jadi di situlah
00:13:16saya akan meninggalkan kalian.
00:13:16Semoga saya bisa
00:13:17memberikan lebih banyak pencerahan
00:13:18tentang Kimi K3.
00:13:19Menurut saya ini luar biasa.
00:13:20Kita punya model sumber terbuka
00:13:21yang bisa bersaing.
00:13:22Tapi jangan terlalu percaya diri
00:13:23terlebih dahulu
00:13:23dalam hal
00:13:24kekuatan mentahnya
00:13:25dan khususnya
00:13:26biayanya.
00:13:27Baik dari segi uang
00:13:28maupun waktu.
00:13:29Jadi,
00:13:30beri tahu saya di kolom komentar
00:13:31apa pendapat Anda.
00:13:31Pastikan untuk memeriksa
00:13:32Chase AIA Plus
00:13:32jika Anda ingin mencoba
00:13:33Cloud Code Masterclass saya
00:13:34yang juga mencakup
00:13:35Codex Masterclass
00:13:36saat ini.
00:13:37Selain itu,
00:13:39sampai jumpa lagi.

핵심 요약

Meskipun Kimi K3 menawarkan biaya per token yang kompetitif, efisiensi penggunaan token yang rendah dan waktu pengerjaan yang jauh lebih lambat menjadikannya kurang praktis dibandingkan Fable 5 atau GPT 5.6 untuk tugas pengembangan perangkat lunak yang kompleks.

하이라이트

  • Kimi K3 merupakan model open-weight dengan 2,8 triliun parameter yang mampu bersaing dengan Fable 5 dan GPT 5.6 dalam tugas pemrograman.

  • Biaya input Kimi K3 sebesar $3 per satu juta token, sedangkan Fable 5 mengenakan $10 dan GPT 5.6 sebesar $5 per satu juta token.

  • Dalam pengujian pembuatan situs web 3D, Kimi K3 membutuhkan waktu pengerjaan 93 menit dibandingkan 17 menit untuk Fable 5 dan 25 menit untuk GPT 5.6.

  • Konsumsi token Kimi K3 mencapai 21,5 juta untuk satu tugas, sementara Fable 5 hanya menggunakan 3,5 juta token.

  • Meskipun harga per token terlihat lebih rendah, efisiensi penggunaan token yang rendah membuat biaya total Kimi K3 tidak selalu lebih murah dibandingkan model lainnya.

타임라인

Analisis Tolok Ukur Kimi K3

  • Kimi K3 memiliki 2,8 triliun parameter sebagai model open-weight.
  • Tolok ukur menunjukkan performa Kimi K3 setara dengan model besar lainnya dalam pengodean front-end.
  • Struktur harga per token Kimi K3 adalah $3 untuk input, jauh di bawah Fable 5 dan GPT 5.6.

Perbandingan awal dilakukan berdasarkan data dari arena.ai dan lab pengembang. Kimi K3 diposisikan sebagai alternatif murah dengan performa tinggi. Namun, efisiensi token menjadi perhatian utama karena model asal Tiongkok ini cenderung menggunakan lebih banyak token daripada model Barat.

Evaluasi Efisiensi dan Halusinasi

  • Indeks biaya per kecerdasan menunjukkan Kimi K3 membutuhkan biaya $0,95 dibandingkan $1,04 untuk GPT 5.6.
  • Waktu pemrosesan Kimi K3 mencapai enam menit, lebih lambat dari Fable 5 yang berada di lima menit.
  • Dalam indeks kemahatahuan, Fable 5 memimpin dengan 40 poin, sementara Kimi K3 berada di 18 poin.

Analisis mendalam mengenai biaya nyata per tugas dan kecepatan model menunjukkan nuansa di luar harga dasar. Kimi K3 sering kali lebih lambat dan memiliki tingkat halusinasi yang lebih tinggi dibandingkan Fable 5 saat diberikan pertanyaan sulit.

Uji Coba Head-to-Head Pengembangan Front-end

  • Tugas pembuatan dasbor 3D diberikan kepada Kimi K3, Fable 5, dan GPT 5.6.
  • Fable 5 memberikan kualitas antarmuka paling bersih dan responsif.
  • Kimi K3 mampu menghasilkan visual Bumi 3D namun dengan interaksi yang terbatas.

Pengujian praktis melibatkan pembuatan situs web 3D untuk melihat kreativitas dan kualitas kode. Fable 5 unggul dalam kehalusan visual dan fungsionalitas interaktif, sementara GPT 5.6 dianggap kurang optimal dibandingkan dua model lainnya dalam tugas ini.

Data Akhir Biaya dan Waktu

  • Kimi K3 memakan waktu 93 menit dengan biaya total $8,66 untuk tugas dasbor.
  • Fable 5 menyelesaikan tugas yang sama dalam 17 menit dengan total biaya $11,64.
  • Kimi K3 tidak efisien dalam penggunaan token, terbukti dari penggunaan 21,5 juta token untuk hasil yang serupa.

Hasil akhir membuktikan bahwa penghematan harga per token terhapus oleh durasi pengerjaan yang sangat lama dan pemborosan token. Meskipun Kimi K3 kompetitif secara kekuatan, hambatan waktu menjadi faktor kritis bagi pengguna yang membutuhkan alur kerja cepat.

커뮤니티 글

모든 글 보기