Відео

Just näin. Promptaaminen aina aikamoista hieromista ja on helpompaa iteroida sitä, kun näkee suoraan miksi llm päätyy johonkin vastaukseen.

Näinhän se on. Tässä on pointtina se, että, jos mitään erityistä ei kerrota niin oletetaan normaalitilanne eli mitä asioilla yleensä tarkoitetaan. normaali kahvikuppi ja pallo, joka menee sinne sisään. Testi siis tavallaan testaa myös 'maalaisjärkeä' ja yleistietoa.

Jos sille pitää antaa sähköpostiosoitteensa ja samalla hyväksyy kaikki sopimustekstit niin tulee mieleen että yksityisyys kärsii? DeepSeek is like some sort CCP:s Strap-on belt dildo for the fools of the West🤭

Webbiversioon on kirjauduttava Google tunnuksella/emaililla. Tietty voit luoda itsellesi tällaisia kokeiluja varten esim. testitonttu25@gmail.com tunnuksen, mutta sekin on jäljitettävissä periaatteessa sinuun. Tarkistin vielä samalla, että omalla koneella ajettavan asennuksen voi tehdä kokonaan ilman emailin/tietojen antamista.

Joo voi. Periaatteessa ei ole mitään rajoitetta tiedoston koolla, mutta yhdessä dokumentissa ei käytännössä voi olla useita tuhansia sivuja. AnythingLLM:n sisäinen Emdedder eli tiedoston lukukomponentti tuppaa kaatumaan. (tämänkin voi myös vaihtaa parempaan). Parasta näissä paikallisissa työkaluissa/LLM:ssä on se, että dokumenttien lukumäärää tai yhteiskokoa ei ole rajoitettu. Eli esim. 10 000 sivuisen dokumentin voi lukea sisään useammassa palassa. ( Tietty PDF:n pilkkominen vaatii vähän extra toimia). Isommilla dokumentti määrillä LLM:n tehokkuus kärsii, mutta on kyllä ihan toimiva.

@@AI-Kanava Keskusteleminen tekoälyn kanssa pdf dokumentista ei varmaan vaadi kaikkein tehokkaimman version lataamista. Riippuu ehkä siitä mitä dokumentissa on. Käyttöohjeita lähinnä ajattelen.

@@AI-Kanava Oletko enemmän tätä embeddingiä harrastanut? Tein ollaman, deepseek-r1:14b:n ja langchainin avulla paikallisen RAG-kokeilun, joka osaa kyllä aika hyvin käyttää selväsanaista materiaalia. Sitten kun annoin materiaaliksi pörssiyhtiöiden vakiomuotoisia 10-K -dokumentteja joiden analysoinnista olisin kiinnostunut, niin tuntui ettei malli valitse oikeita embeddingejä tulkittavaksi. Onko sinulla kokemusta miten tällaista voisi optimoida, vai onko yksinkertaisesti vielä liian vähän parametreja ja konteksti-ikkunaa käytössä?

Jonkun se on tehtävä😃

Pienin malli 1.5B näyttää pyörivän mun vanhalla koneella ihan OK, jossa on 3GB näytönohjaimen muistia. ( Määrän näkee esim. avaamalla Task Manager ja sieltä Performance välilehti: Crtl+Shift+Esc Windowssissa). Eli suurinpiirtein tuon mallin parametriluvun 1.5b, 7b, 8b jne. verran tarvitaan GPU muistia. AI Malleja voi ajaa myös ilman näytönohjainta ns. CPU-only mallilla, mutta silloin ne on tosi hitaita. Itse koneen teho, prosessori ja RAM muisti, ei vaikuta paljoa. Yhteenvetona: Windows tai tarkemmin PC-raudalla tärkeintä on näytönohjain eli GPU muistin määrä. Läppäreissä on harvoin isokokoinen näytönohjain ellei kyseessä ole ns. peliläppäri. Uudemmissa Mac:eissä ml. läppärit on erilainen rakenne CPU-GPU osalta ja näillä kielimallien ajaminen onnistuu hyvin. Itse käytän Windows pöytäkonetta, johon on laitettu 16GB näytönohjain. Halvimmalla mukaan pääsee, jos hommaa esim. käytetyn pelikoneen.

Itse teen usein niin, että teen aluksi koodin ChatGpt:ssä. Varsinkin Chatgpt4:n kanssa on helpompi saada perustoiminnot kasaan ja sitten jatkaa korjailua ja virittelyä GH Copilotin kanssa.

Joitain kohtia on nopeutettu. Mm. Missä kirjoitan promptia. Yleisesti ottaen GH Copilot toimii ihan riittävän nopeasti tarpeeseen nähden.

Videoanalyysiä voi tehdä ja tehdään jo nyt, mutta se on vaikeampaa kuin kuvien ja varsinkin tekstin tutkiminen. Esim. Googlella on saatavilla palvelu tähän cloud.google.com/video-intelligence. Arvostelulajeihin videotuomari olisi kyllä hyvä lisä, kun inhimillisen virheen tekijä jäi pois temppujen tunnistamisessa.Tyylipisteiden jakaminen on varmaan vielä pitkään ihmistuomarin heiniä😃

Siihen on käytännössä kaksi vaihtoehtoa: 1. Asennus h2ogpt Windows installerilla ja näillä ohjeilla github.com/h2oai/h2ogpt/blob/main/docs/README_WINDOWS.md 2. Käytetään Linuxia Windows koneella: Helpoin, ja myös se mitä itse käytän, on ajaa Ubuntua Windows Subsystem for Linux:lla (WSL) TAI käyttää Virtuaalikonetta/Docker:ia esim. HyperV ja siihen Ubuntu image toimii hyvin. Riippuen ym. tavasta voi olla, että näytönohjaimen toiminta vaatii hieman eri toimenpiteitä. Ohjeet löytyy useimpiin tilanteisiin suoraan github.com/h2oai/h2ogpt