Chińscy badacze odkrywają nowatorskie podejście AI do przycinania LLM

Chińscy badacze poczynili znaczne postępy dzięki nowej technice kompresji dużych modeli językowych (LLM), aby wyeliminować ograniczenia sprzętowe związane z ich wdrażaniem.

Artykuł naukowców z Baichuan Inc. i Chińskiego Instytutu Oprogramowania w Laboratorium Przetwarzania Informacji Chińskiej Akademii Nauk przedstawia nowy system kompresji dla LLM, który opiera się na wcześniejszych technikach przycinania, aby zaoszczędzić na kosztach wnioskowania bez dodatkowego szkolenia. Naukowcy, nazwani ShortGPT, przypuszczają, że nowa metoda zapewni użytkownikom rozwiązanie, które pozwoli im dotrzymać kroku rosnącemu rozmiarowi parametrów modeli AI.

Nowsze generacje LLM są obciążone miliardami parametrów, co przesuwa granice ich wydajności, ale mają wysoką cenę podczas wdrażania. Zazwyczaj badacze i przedsiębiorstwa borykają się z ograniczeniami sprzętowymi wynikającymi z wdrażania LLM, co powoduje potrzebę opracowania nowych rozwiązań.

Chińscy badacze opierają się na nowej metryce, Block Influence (BI), aby zmierzyć transformacje stanu ukrytego w LLM, usuwając niepożądane parametry w oparciu o wyniki BI. Na początek system eliminuje zbędne warstwy po określeniu ilościowym i zmierzeniu wpływu ich usunięcia podczas wnioskowania.

Warstwy z niskimi wynikami po testach oceny BI są przycinane w celu dopasowania do wymagań sprzętowych. Proces idzie dalej i ma na celu usunięcie warstw uznawanych za mające niewielki wpływ na możliwości LLM „bez uszczerbku dla wydajności modelu”.

„Eksperymenty pokazują, że nasza metoda, którą nazywamy ShortGPT, znacznie przewyższa poprzednie, najnowocześniejsze metody (SOTA) w przycinaniu modeli” – czytamy w artykule.

Kluczową cechą powieści ShortGPT jest jej niezależność od metod kwantyzacji, które mają skłonność do obniżania precyzji modeli, wymagając jednocześnie dodatkowego szkolenia.

„Co więcej, ShortGPT jest ortogonalny w stosunku do metod przypominających kwantyzację, umożliwiając dalszą redukcję parametrów i obliczeń” – stwierdzili naukowcy. „Możliwość osiągnięcia lepszych wyników poprzez proste usuwanie warstw, w przeciwieństwie do bardziej złożonych technik przycinania, sugeruje wysoki stopień redundancji w architekturze modelu”.

Chiny całym sercem wspierają sztuczną inteligencję

Chiny w ostatnich latach przyjęły pozytywne stanowisko w sprawie przyjęcia sztucznej inteligencji, aby dotrzymać tempa innowacji w USA i Europie. W Chinach trwają plany mające na celu poprawę potencjału lokalnych dostawców usług sztucznej inteligencji, technologii blockchain i obliczeń kwantowych w obliczu narastającej zimnej wojny ze Stanami Zjednoczonymi.

Lokalny ekosystem sztucznej inteligencji w Chinach kontynentalnych to ul aktywności, co podkreśla lawina komercyjnych wdrożeń ofert generatywnej sztucznej inteligencji przez firmy technologiczne. Pomimo postępowego podejścia władze chińskie pragną zapobiegać niewłaściwemu wykorzystywaniu sztucznej inteligencji, tworząc rygorystyczne przepisy i rygorystyczne taktyki egzekwowania prawa.

Aby sztuczna inteligencja (AI) działała zgodnie z prawem i prosperowała w obliczu rosnących wyzwań, musi zintegrować korporacyjny system blockchain, który zapewni jakość wprowadzanych danych i własność, umożliwiając im bezpieczeństwo danych, a jednocześnie gwarantując niezmienność danych. Sprawdź relacje CoinGeek na temat tej powstającej technologii, aby dowiedzieć się więcej, dlaczego łańcuch bloków korporacyjnych będzie podstawą sztucznej inteligencji.

Obejrzyj: Co wspólnego ma blockchain i sztuczna inteligencja? To dane

Autor : BitcoinSV.pl

Źródło : Chinese researchers uncover novel AI approach to pruning LLMs – CoinGeek

Author: BitcoinSV.pl
CEO