od jakiegos czasu testuje odpalanie modeli jezykowych lokalnie na swoim sprzecie zamiast placic za chmure. mam rtx z 16gb vram i mniejsze modele chodza spoko, wieksze juz mula. zastanawiam sie czy to ma sens dla zwyklego uzytkownika czy to zabawa dla geekow. kwestia prywatnosci kusi bo dane nie wychodza na zewnatrz ale wygoda chmury tez swoje znaczy. macie doswiadczenia, na czym odpalacie i czy warto sie bawic.
Forum społeczności Śledź trendy
›
Społeczność Śledź trendy
›
Technologia, IT i internet
lokalne modele AI na wlasnym kompie zamiast chmury, ma to sens w 2026
lokalne modele AI na wlasnym kompie zamiast chmury, ma to sens w 2026
lokalne modele AI na wlasnym kompie zamiast chmury, ma to sens w 2026 |
Z mojego podworka, odpalam mniejsze modele na maszynie z 32 GB RAM bez mocnej karty i do prostych zadan wystarcza, choc wolniej. Dla hobbysty ceniacego prywatnosc to ma sens, zwlaszcza gdy pracuje sie na wrazliwych danych. Dla przecietnego uzytkownika, ktory chce szybko cos napisac, chmura nadal wygrywa wygoda. Sprzet do duzych modeli to wciaz spory wydatek.
inz Tadeusz wlasnie o to mi chodzi, na cpu da rade ale cierpliwosc trzeba miec. probowal pan kwantyzowane wersje? u mnie 4bit robi ogromna roznice w zuzyciu vram, jakosc spada minimalnie a model wchodzi na karte ktora normalnie by nie udzwignela
ja tam nie programista ale w firmie zastanawialem sie nad tym wlasnie przez prywatnosc, bo wrzucanie umow klientow do chmury mi sie nie podoba. tylko koszt sprzetu mnie odstrasza, za te pieniadze dlugo place abonament. mozecie polecic od czego laik moze zaczac zeby przetestowac bez inwestycji
mariusz na poczatek wez cos darmowego co odpala modele lokalnie z gui, instalujesz jak zwykly program i klikasz. na laptopie z 16gb ramu pojdzie maly model do testow. jak ci sie spodoba to wtedy myslisz o mocniejszej karcie. bez sensu kupowac sprzet zanim sprawdzisz czy w ogole uzywasz
Dodam ze warto patrzec na pobor pradu przy dluzszej pracy karty pod pelnym obciazeniem. Liczylem sobie, przy intensywnym uzyciu rachunek za prad potrafi zjesc czesc oszczednosci na abonamencie. Dla okazjonalnego uzytku bez znaczenia, ale przy codziennej pracy to realny koszt ktory marketing przemilcza.
Pozwole sobie na uwage z perspektywy ekonomicznej, bo to ciekawy przyklad rachunku oplacalnosci. Inwestycja w sprzet to koszt staly, abonament to koszt zmienny. Dla firmy decyduje skala uzycia i wymogi prawne dotyczace danych. Przy danych osobowych klientow argument prywatnosci bywa nie tyle wygoda co koniecznoscia zgodnosci z przepisami.
Profesorze dobry punkt z ta zgodnoscia, w sumie dla firmy to moze byc decydujace a nie sam koszt. dla mnie prywatnie to bardziej hobby i nauka jak to dziala pod maska. ale przyznaje ze jak raz postawisz lokalnie to potem ciezko wrocic do wysylania wszystkiego na serwery nie wiadomo gdzie
nie znam sie kompletnie ale czytam z ciekawoscia. to znaczy ze mozna miec takiego asystenta offline bez internetu? w trasie czasem nie mam zasiegu wiec to by sie przydalo, tylko pewnie na zwyklym laptopie do pracy nie pojdzie co
odswieze bo latem wrocilem do tematu i mam obserwacje, w upaly odpalanie wiekszych modeli lokalnie grzeje karte niemilosiernie i komp buczy jak odkurzacz. w zime bylo ciszej. do prostych rzeczy dalej lokalnie ale przy dluzszej pracy chmura kusi bo nie grzeje pokoju
|
|
« Starszy wątek | Nowszy wątek »
|