Çindən süni intellekt sahəsində sensasion YENİLİK

Çindən süni intellekt sahəsində sensasion YENİLİKÇinin süni intellekt sahəsində fəaliyyət göstərən startapı DeepSeek, sensasion bir açıqlama edərək, aparıcı süni intellekt şirkətlərinin modellərinə bənzər bir modeli 11 dəfə daha az hesablama gücü ilə hazırladıqlarını elan edib.

Lent.az xəbər verir ki, DeepSeek-in təqdim etdiyi məlumatlara görə, OpenAI, Meta və Anthropic kimi nəhənglərin modellərinə bənzər DeepSeek-V3 adlı dil modeli cəmi 2 ay ərzində 2.048 Nvidia H800 GPU-sundan ibarət bir qrup vasitəsilə 671 milyard parametr üzərində öyrədilib. Bu, təxminən 2.8 milyon GPU saatı deməkdir. Müqayisə üçün, Meta-nın 405 milyard parametrə malik Llama 3 modelini 54 gün ərzində 16.384 H100 GPU istifadə edərək öyrətməsi üçün 11 dəfə daha çox hesablama gücü (30.8 milyon GPU saatı) tələb olunub.

DeepSeek, qabaqcıl əlaqə xətti (pipeline) alqoritmləri, optimallaşdırılmış rabitə çərçivəsi və FP8 aşağı dəqiqlikli hesablama üsulundan istifadə edərək bu cür miqyaslı modellər üçün adətən tələb olunan hesablama və yaddaş ehtiyaclarını əhəmiyyətli dərəcədə azaltdığını iddia edir. Şirkət, DeepSeek-V3 modelinin hesablama tələblərini azaltmaq üçün onlarla optimizasiya texnikası tətbiq etdiyini vurğulasa da, bir neçə əsas texnologiya bu nəticələrin əldə olunmasında həlledici rol oynayıb. DeepSeek, DualPipe adlı alqoritmdən istifadə edərək həm hesablama, həm də rabitə mərhələlərində effektivliyi artırdığını bildirir. Bu alqoritm, xüsusilə MoE arxitekturasının tələb etdiyi qovşaqlararası ekspert paralelliyi üçün təlim darboğazlarını minimuma endirib. Beləliklə, sıfıra yaxın rabitə yükü ilə 14.8 trilyon simvolun işlənməsi mümkün olub.

Bundan əlavə, DeepSeek rabitə zamanı istifadə olunan qovşaqların sayını hər simvol üçün maksimum 4 qovşaqla məhdudlaşdırıb. Bu yanaşma trafiki azaldıb və rabitənin hesablama ilə effektiv şəkildə üst-üstə düşməsinə imkan verib. Performans baxımından, şirkət DeepSeek-V3 MoE modelinin bəzi göstəricilər üzrə GPT-4x, Claude-3.5-Sonnet və LLama-3.1 modelləri ilə müqayisə edilə bilən, bəzən isə onları ötüb, keçən nəticələr verdiyini bildirir. Lakin bu iddiaların müstəqil tədqiqatçılar tərəfindən təsdiqlənməsinə ehtiyac var. Şirkət modeli və onun parametrlərini açıq mənbə kimi təqdim edib, buna görə də yaxın vaxtlarda müqayisəli testlərin aparılması gözlənilir.

DeepSeek-V3 modeli parametrlərin sayı və ya məntiqi düşünmə qabiliyyətləri baxımından GPT-4 və ya Llama-3 kimi qabaqcıl modellərdən geri qalsa da, məhdud resurslarla yüksək səviyyəli bir MoE modelinin hazırlanmasının mümkün olduğunu nümayiş etdirir. Təbii ki, bu, çoxlu optimizasiya və aşağı səviyyəli proqramlaşdırma tələb edir, lakin nəticələr olduqca ümidverici görünür. DeepSeek komandası, DeepSeek-V3 modelinin tətbiqinin inkişaf etmiş avadanlıqla yanaşı, prefilling və dekodlaşdırma mərhələlərini bir-birindən ayıran xüsusi paylama strategiyası tələb etdiyini, bunun isə resurs çatışmazlığı səbəbindən kiçik şirkətlər üçün əlçatmaz ola biləcəyini etiraf edir.


BiG.Az
Telegramda izləyin
Maraqlı   Baxılıb: 1148   Tarix: 28 dekabr 2024  

Şikayətiniz varsa Whatsapp: 077 7125666

Facebookda Paylaş

Oxşar xəbərlər

.

Pələng onunla video çəkmək istəyən bloqeri parçaladı

Pakistanda "TikTok" üçün video çəkmək istəyən 19 yaşlı gənc pələngin hücumuna məruz qalaraq həyatını itirib. xarici mediaya istinadən xəbər verir ki, faciə Lahor şəhəri yaxınlığında yerləşən vəhşi heyvanların yetişdirildiyi fermada baş verib. Məlumata görə, fermada çalışan 19 yaşlı gənc "TikTok"

15.11.2026 316
.

Dünyanın ən qəribə qadağaları açıqlandı

Dünyanın müxtəlif ölkələrində tətbiq olunan bəzi qanunlar eşidənləri təəccübləndirir. Gündəlik həyatda tamamilə adi hesab edilən davranışlar bəzi ölkələrdə cəriməyə, hətta hüquqi məsuliyyətə səbəb ola bilər. Saqqız çeynəməkdən tutmuş göyərçin bəsləməyə, ev heyvanlarının tək saxlanılmasına qədər fərql

13.11.2026 405
.

Ölümdən iki gün əvvəl orqanizmdə nə baş verir?

Həyatın son 48 saatında insan orqanizmi həyati funksiyalarını qorumaq qabiliyyətini tədricən itirir. Həyatın son 48 saatında insan bədəni nəzərəçarpacaq dəyişikliklərə məruz qala bilər. İnsan zəifləyir, daha çox yatır, yeməyə az maraq göstərir və nəfəs alma və qan dövranı tədricən dəyişir. Bu təzahürlə

15.11.2026 446
.

Romantik şəxsiyyət TESTİ: Bir çiçək ideal ikinci yarınızı aşkarlayacaq

Sevgi tərzinizi kəşf etmək üçün səkkiz çiçəkdən birini seçin. Hər kəsin öz ideal partnyoru var. Bəziləri səxavətli jestlər və gözəl görüş gözləyir, bəziləri isə dinc ev mühitinə üstünlük verir. bildirir ki, bu təəccüblü dərəcədə dəqiq romantika testi, münasibətdən nə istədiyinizi və çiçək seçimləriniz

15.11.2026 283
.

Evdə açarı üç yerə qoymayın: xalq inancları nə deyir?

Xalq inanclarına görə, açarların evdə saxlanıldığı yer ailənin rifahına və evdəki harmoniyaya təsir göstərə bilər. Evimizin və ya mənzilimizin açarlarını çox vaxt əlimizə rahat gələn yerlərə - mətbəx masasına, güzgünün qarşısına və ya giriş qapısının yaxınlığına qoyuruq. Lakin xalq inanclarında açarları

15.11.2026 308
.

Hüquqi xidmətlər Xidmetler.az saytında

Xidmətlər saytı -ın Hüquqi Xidmətlər bölməsində özünüzə vəkil tuta və ya işinin peşəkarı olan hüquqşünas tapa bilərsiniz!. Hər kəs düşdüyü çətin, xoşagəlməz hallarda hüquqi yardım əldə etmək istəyir. Bunun üçün yaxşı vəkil tapmaq lazım gəlir. sizə digər xidmətlərlə yanaşı, hüquqi xidmətlərdə də kömə

10.11.2026 1204
.

Hamı zibilə atır - Saç tökülməsinin və ağarmasının qarşısını alır

Fəsil dəyişikliyi və stress səbəbindən artan saç tökülməsinə qarşı bahalı kosmetik məhsullar əvəzinə mətbəxdəki təbii vasitələr həll yolu təqdim edir. Qidalandırıcı yağlar ehtiva edən bu üsul saç diblərini qısa müddətdə gücləndirərək tökülməni azaldır. xəbər verir ki, əksər hallarda zibil kimi atıla

14.11.2026 355
.

Xurma niyə ağızda büzüşmə yaradır və nə qədər şəkərlidir?

Payızın gəlişi ilə xurma mövsümü də başlayır. Bu dadlı meyvə haqqında cəmiyyətdə müxtəlif yanlış təsəvvürlər mövcuddur. Bəziləri xurmanın həddindən artıq şəkərli və kalorili olduğunu düşünür, digərləri isə onun ağızda yaratdığı büzüşmə hissindən narahat olur. Bəs əslində xurma nə qədər faydalıdır v

15.11.2026 265
.

TikTok üçün video çəkilişi faciə ilə bitdi - Şir 19 yaşlı gənci parçaladı

Pakistanın Lahor şəhərində fermada çalışan 19 yaşlı Talha dişi şirin hücumu nəticəsində həyatını itirib. Axşam.az xəbər verir ki, hadisədən sonra gəncin ailəsinə əvvəlcə onun it hücumuna məruz qaldığı bildirilib. Lakin polis araşdırması zamanı həqiqətin fərqli olduğu üzə çıxıb. Yerli mətbuatın məlumatın

13.11.2026 550
.