Pinecone 2.0 — Edo Liberty, Pinecone

Bahasa IndonesiaالعربيةDeutschEnglishEspañolFrançaisहिन्दी日本語한국어PortuguêsРусский中文
AAI Engineer
Computing/SoftwareInternet Technology

Transcript

00:00:00antarmuka. Saya ingin... ada banyak sekali ide keren yang membuat ini bekerja, tetapi
00:00:06saya ingin menceritakan sedikit tentang salah satunya, ya. Yang Anda lihat adalah
00:00:11antarmuka untuk Nexus. Di bagian atas Anda bisa melihat pertanyaan yang
00:00:17diberikan agen, dan di sebelah kiri Anda bisa melihat berbagai langkah yang
00:00:23dilaluinya. Nah, apa yang Anda lihat di kanan bawah mungkin adalah hal yang paling menarik.
00:00:28Anda melihat kode yang dihasilkan di kanan bawah. Apa yang dilakukan Nexus sangat
00:00:34berbeda dari sistem lain. Ini adalah apa yang kami sebut agen pengodean runtime. Coba bayangkan,
00:00:40tidak seperti sistem pengodean lain yang biasa Anda gunakan, di mana tugasnya adalah mengambil basis kode yang besar
00:00:49lalu membantu saya mengeditnya, bukan? Namun ketika pengeditan selesai, yang saya miliki adalah sebuah
00:00:55perangkat lunak dan itu disebarkan, itulah artefaknya. Apa yang berjalan
00:01:00tidak lagi berisi model tersebut, itu hanya kode. Ini bukanlah apa yang
00:01:05terjadi di sini. Saat waktu kueri, Anda harus membayangkan mesin ini pada dasarnya
00:01:10membangun sesuatu seperti notebook Jupyter, sesuatu seperti repositori Python, kan?
00:01:16Dan mereka benar-benar menulis kode lalu mengeksekusinya, menulis kode lalu mengeksekusinya. Jika mereka
00:01:20mendapatkan jawabannya, mereka tahu apa yang harus dilakukan darinya. Dan jika, tahu sendiri, tidak sesuai dengan apa yang
00:01:24mereka harapkan, mereka menulis ulang bagian kode tersebut. Dan apa yang Anda dapatkan pada akhirnya adalah
00:01:30sepotong kode yang menyelesaikan tugas dan mendapatkan informasi yang ingin Anda
00:01:36dapatkan. Kode itu dapat disimpan, dapat dijalankan kembali, tetapi juga sangat fleksibel
00:01:42karena sekarang jawabannya didapat bukan melalui kueri ke basis data, melainkan
00:01:50ditulis oleh kode, yang tentu saja luar biasa fleksibel. Omong-omong, kode tersebut
00:01:57menariknya, jika Anda mengganti—jika Anda menulis perangkat lunak dengan cara ini—jumlah
00:02:05prompting yang Anda butuhkan berkurang secara signifikan. Kami berhasil turun dari
00:02:08sekitar 150.000 token untuk memberi agen kami semua
00:02:12perkakas yang mereka butuhkan, menjadi kurang dari seribu token untuk menentukan semua
00:02:16antarmuka yang mereka butuhkan guna mengambil informasi dari Nexus. Jadi, jawabannya... tampilan saat Anda menjalankannya adalah seperti ini.
00:02:23Di sebelah kiri, Anda bisa melihat Nexus tanpa QL menjawab pertanyaan tersebut,
00:02:29dan di sebelah kanan adalah tugas yang sama yang diberikan kepada agen dengan semua perkakas untuk menyelesaikan tugas tersebut.
00:02:38Namun ingat, yang di sebelah kanan ini sangat terbatas kemampuannya. Ini seperti karyawan di hari pertama
00:02:43mereka bekerja. Mereka harus membaca banyak hal, mencari tahu di mana datanya berada,
00:02:48mencari tahu apa tugasnya, dan harus menulis banyak kode.
00:02:51Kemampuannya sangat terbatas, dan ini—saya tidak tahu apakah ini berhenti, tetapi
00:02:55tidak perlu dikatakan lagi, cara ini jauh lebih lambat dan jauh lebih mahal dalam hal
00:03:02konsumsi token. Namun yang menarik, akurasinya juga jauh lebih rendah
00:03:08karena sekali lagi, mereka tidak memiliki konteks dan tujuan yang tepat,
00:03:12dan sebagainya di perusahaan Anda. Saya ingin menyampaikan bahwa tentu saja kami telah bekerja sama dengan
00:03:17beberapa pelanggan akses awal. Anda dapat melihat beberapa hasilnya di sini, tetapi saya akan membahasnya secara singkat
00:03:25dan mengatakan bahwa di berbagai domain, berbagai
00:03:30perusahaan, dan berbagai jenis tugas, Anda secara universal akan melihat hal yang sama:
00:03:35jika Anda beralih ke paradigma ini, Anda akan mendapatkan penghematan biaya yang signifikan. Pengurangan token
00:03:40sebesar 77 hingga 90 persen adalah hal yang sangat umum. Kecepatannya jauh lebih tinggi,
00:03:50mulai dari 20–30 persen hingga terkadang 77 persen lebih cepat.
00:03:58Dan hal yang paling penting adalah tingkat akurasinya juga menjadi jauh lebih tinggi pada saat yang sama.
00:04:07Jadi ini benar-benar sebuah keberhasilan telak. Sebagai penutup, saya ingin menyampaikan bahwa
00:04:11Nexus akan keluar dari status akses awal dan masuk ke pratinjau publik secara harfiah besok, jadi silakan coba!
00:04:20Terima kasih.
00:04:50Terima kasih.

Key Takeaway

Nexus mengalihkan pencarian informasi dari kueri basis data biasa ke pemrosesan agen pengodean runtime yang mampu memangkas penggunaan token hingga 90 persen sekaligus meningkatkan kecepatan dan akurasi.

Highlights

  • Nexus berfungsi sebagai agen pengodean runtime yang menulis dan mengeksekusi kode Python secara langsung saat kueri dijalankan.

  • Jumlah token yang dibutuhkan untuk menentukan antarmuka pengambilan informasi berkurang dari 150.000 token menjadi kurang dari 1.000 token.

  • Penggunaan paradigma agen pengodean runtime ini menghasilkan pemotongan konsumsi token sebesar 77 hingga 90 persen.

  • Sistem ini meningkatkan kecepatan pemrosesan kueri sebesar 20 hingga 77 persen dibanding metode berbasis perkakas konvensional.

  • Akurasi jawaban meningkat signifikan karena proses penulisan kode dinamis menyesuaikan konteks dan tujuan kueri secara presisi.

Timeline

Mekanisme Kerja Agen Pengodean Runtime Nexus

  • Nexus bekerja sebagai agen pengodean runtime yang mengeksekusi kode Python dinamis saat kueri masuk.
  • Sistem menulis ulang potongan kode secara otomatis jika hasil eksekusi pertama tidak sesuai ekspektasi.
  • Kebutuhan prompting turun drastis dari 150.000 token menjadi kurang dari 1.000 token.

Berbeda dari alat bantu pengodean biasa yang hanya mengedit basis kode untuk disebarkan, Nexus membangun lingkungan eksekusi dinamis seperti notebook Jupyter saat kueri dijalankan. Kode yang dihasilkan menyelesaikan tugas spesifik, mengambil data yang dibutuhkan, dan dapat disimpan untuk dijalankan kembali. Pendekatan ini menggantikan kueri basis data standar dengan eksekusi kode dinamis yang sangat fleksibel.

Kelemahan Agen Berbasis Perkakas Konvensional

  • Agen konvensional menghabiskan banyak token untuk mempelajari lokasi data dan instruksi tugas.
  • Proses pencarian informasi tanpa agen runtime berjalan lebih lambat dan memakan biaya tinggi.
  • Ketiadaan konteks perusahaan yang tepat menurunkan tingkat akurasi jawaban agen standar.

Agen dengan instruksi perkakas standar beroperasi seperti karyawan baru yang belum mengenal sistem. Agen tersebut harus membaca konteks dalam jumlah besar, menelusuri lokasi data, dan menulis banyak kode dari awal setiap kali menerima kueri. Kurangnya pemahaman konteks ini membuat prosesnya boros token, lambat, dan menghasilkan jawaban yang kurang akurat.

Efisiensi Biaya, Kecepatan, dan Akurasi Nexus

  • Penggunaan token berkurang secara konsisten pada rentang 77 hingga 90 persen di berbagai domain.
  • Kecepatan eksekusi tugas meningkat antara 20 hingga 77 persen.
  • Nexus memasuki tahap pratinjau publik untuk akses luas.

Pengujian bersama pelanggan akses awal menunjukkan peningkatan performa secara menyeluruh di berbagai jenis industri dan beban kerja. Selain memangkas konsumsi token dan meningkatkan kecepatan eksekusi secara signifikan, paradigma baru ini secara bersamaan menaikkan tingkat akurasi hasil pencarian. Nexus resmi beralih dari fase akses awal ke pratinjau publik.

Community Posts

No posts yet. Be the first to write about this video!

Write about this video