រំលងទៅមាតិកា

Quantization

បច្ចេកទេសដែលធ្វើឱ្យម៉ូដែល AI តូច និងស្រាលដោយរក្សាទុកតួលេខរបស់វាជាមួយនឹងភាពជាក់លាក់តិចជាងមុន។ វាមិនមានអ្វីពាក់ព័ន្ធនឹងកុំព្យូទ័រកង់ទិចទេ.

양자화

ទិដ្ឋភាពទូទៅ

A model is made of a huge number of numbers (parameters), and writing each one very precisely makes the file big. Quantization writes these numbers a bit less precisely and shorter. That cuts the file size and the memory needed a lot.

Thanks to this, big models can run on an ordinary PC or phone. Models that are shared as files like GGUF, so that anyone can download and use them, are usually quantized. But the more you shrink it, the more the quality of the answers drops, bit by bit.

ឧទាហរណ៍ប្រចាំថ្ងៃ

It is like saving a photo as a smaller file. It gets a little blurrier, but much lighter, so it is easy to send and open.

ហេតុអ្វីវាសំខាន់

It is a word you see often as more people run AI directly on their own computers. It helps to know that the same model can differ in speed and smartness depending on how much it was shrunk.

model quantization

នៅក្នុងរបាយការណ៍ AI ប្រចាំថ្ងៃ

그래픽카드 없이 거대 AI 돌리기របាយការណ៍លើប្រធានបទនេះ

គោលគំនិតពាក់ព័ន្ធ

ប៉ារ៉ាម៉ែត្រតួលេខនៅក្នុងម៉ូដែល AI ដែលត្រូវបានកំណត់ដោយការបណ្តុះបណ្តាល។ ពួកវាជាទូទៅបង្ហាញពីទំហំរបស់ម៉ូដែល.ម៉ូដែលភាសាតូច (SLM)ម៉ូដែលភាសាដែលត្រូវបានធ្វើឱ្យតូចជាងមុន ដើម្បីឱ្យវាអាចដំណើរការលើទូរសព្ទ ឬកុំព្យូទ័រ។ វាស្រាល លឿន និងថោក។.Local AIAI ដែលដំណើរការលើកុំព្យូទ័រឬទូរស័ព្ទផ្ទាល់ខ្លួនរបស់អ្នកជំនួសឱ្យម៉ាស៊ីនមេដ៏ឆ្ងាយរបស់ក្រុមហ៊ុន.ម៉ូដែល Open-source / open-weightម៉ូដែល AI ដែលត្រូវបានបញ្ចេញដើម្បីឱ្យនរណាម្នាក់អាចទាញយក ដំណើរការវានៅលើកុំព្យូទ័រផ្ទាល់ខ្លួន និងកែប្រែវាបាន.ម៉ូដែលការកែសម្រួលលម្អិតការបង្រៀនម៉ូដែល AI ដែលបានបណ្តុះបណ្តាលរួចហើយបន្ថែមបន្តិចទៀតដើម្បីឱ្យវាស័ក្តិសមនឹងការងារជាក់លាក់ណាមួយ.ការរៀនដោយការពង្រឹង (RL)វិធីសាស្ត្រនៃការរៀនតាមរយៈការសាកល្បង និងកំហុស។ ជំនួសឱ្យការប្រាប់ចម្លើយ AI សាកល្បងធ្វើអ្វីមួយ ហើយទទួលបានពិន្ទុនៅពេលវាធ្វើបានល្អ។.

អ្នក