រំលងទៅមាតិកា

Transformer

ការរចនាបណ្តាញសរសៃប្រសាទដែលមើលពីរបៀបដែលពាក្យទាំងអស់នៅក្នុងប្រយោគទាក់ទងគ្នាទៅវិញទៅមកក្នុងពេលតែមួយ។ ម៉ូដែល AI ភាគច្រើនសព្វថ្ងៃប្រើវា។.

트랜스포머

ទិដ្ឋភាពទូទៅ

Older models read text from the start, one word at a time, and tended to forget the beginning when a sentence got long. A transformer takes all the words of a sentence at once and works out, for each word, which other words to pay attention to. This method is called "attention."

It was first introduced in a 2017 paper by Google researchers. Because many words can be computed at once, large models could be trained quickly on GPUs, and this led to today's LLMs. The T in GPT stands for transformer. It is used for image, sound and video models too, not only text.

ឧទាហរណ៍ប្រចាំថ្ងៃ

In "my sister ate the apple, and it was very sweet," to know that "it" means "the apple," you have to link the two words. A transformer finds links like this across the whole sentence at once.

ហេតុអ្វីវាសំខាន់

It is counted as the invention that started today's AI boom. Look inside almost any AI, from chat AI to translators to image generation AI, and you will mostly find a transformer.

transformer architecture, transformer model

នៅក្នុងបន្ទាត់ពេលវេលា

The Transformer paper is published2017-06-12

គោលគំនិតពាក់ព័ន្ធ

បណ្តាញសរសៃប្រសាទរចនាសម្ព័ន្ធកុំព្យូទ័រដែលយកគំរូតាមរបៀបដែលកោសិកាសរសៃប្រសាទក្នុងខួរក្បាលតភ្ជាប់គ្នា។ វាគឺជាឆ្អឹងខ្នងនៃ AI សព្វថ្ងៃនេះ.LLM (ម៉ូដែលភាសាធំ)AI ដែលបានអានអត្ថបទយ៉ាងច្រើនសន្ធឹកសន្ធាប់ និងរៀនបន្តវាដោយសរសេរពាក្យបន្ទាប់.Deep learningវិធីសាស្ត្ររៀនរបស់ម៉ាស៊ីនដែលតម្រៀបបណ្តាញសរសៃប្រសាទជាច្រើនស្រទាប់ ដើម្បីឱ្យពួកវារៀនពីលក្ខណៈស្មុគស្មាញនៃរូបថត សំឡេង និងអត្ថបទ.GPU (graphics processing unit)បន្ទះឈីបដែលធ្វើការគណនាដូចគ្នាក្នុងចំនួនដ៏ច្រើនក្នុងពេលតែមួយ។ វាគឺជាបន្ទះឈីបដែលត្រូវបានប្រើប្រាស់ច្រើនបំផុតដើម្បីបណ្តុះបណ្តាលនិងដំណើរការ AI.បង្អួចបរិបទបរិមាណអត្ថបទដែល AI អាចមើលឃើញនិងចងចាំក្នុងពេលតែមួយ.ម៉ូដែលម៉ូដែលមូលដ្ឋានម៉ូដែល AI មូលដ្ឋានដែលរៀនជាមុនពីទិន្នន័យយ៉ាងច្រើន ហើយបន្ទាប់មកត្រូវបានប្រើប្រាស់ក្នុងការងារផ្សេងៗគ្នាជាច្រើន.Multimodalសមត្ថភាពក្នុងការយល់ និងបង្កើតមិនត្រឹមតែអត្ថបទប៉ុណ្ណោះទេ ថែមទាំងរូបភាព សំឡេង និងវីដេអូរួមគ្នា.

អ្នក