[–] 2 points 1 week ago (1 child)

Just to clear up some potential misunderstanding.. Ampere is the Nvidia GPU architecture, and your card is in the same category as RTX30xx. This can matter when it comes to hardware support for llama.cpp and other software.

Having tensor cores affects the speed your card does certain calculations, but AFAIK there are different types of tensor cores in GPUs and if you're using quantized models (which you most likely will be, unless you're training your own models) then it's INT8 performance that matters.

Your amount of VRAM determines how large (which usually correlates to how "intelligent" the model is) model you can fully load on the GPU. If the entire model doesn't fit in VRAM it can use CPU RAM swapping (partial offloading) which severely harms performance, though MoE models are less affected.

So both VRAM and tensor cores affect generation speed, but in completely different ways.

  • source
  • parent
  • context
  • [–] 4 points 1 week ago

    According to this page ChatGPT would tokenize "seventeen" as ["se", "venteen"] but AFAIK tokens become multi-dimensional vectors which represents its meaning (all vectors are the same length and the numbers in the vector have nothing to do with the letters that spell it out, just so you don't imagine something like a C++ string). So an LLM can't answer how many of each letters there is in a token either, unless explicitly trained to do so. To be able to immediately answer this, I think they would need to include huge amounts of training data to cover all tokens and letter combinations.

    But I would have expected that since the strawberry incident, all models would have been trained to do what Qwen tried to do here, and break the word down into letters. Because "s e v e n t e e n" tokenizes to ["s", "e", "v", "e", "n", "t", "e", "e", "n"] so then they only have to train the model to be able to convert any token into its individual letter, and to count occurrences of something in an array.

    However, if you disallow thinking and force the LLM to answer immediately, then you're back to the original problem and will likely get an incorrect answer.

  • source
  • parent
  • context
  • [–] 1 point 1 week ago

    It seems awesome for flight/driving sims, though without a motion sim rig those kind of games are unplayable for me due to motion sickness issues. I still have an OG Vive, which I don't use very often, but every time I put it on it feels like entering a magical world. I mean I agree with you that there aren't a lot of games that are suitable for the VR format but at least for me VR in itself never feels old.

  • source
  • parent
  • context
  • [–] 3 points 1 week ago

    From what I have found, the main difference between an eBPF program (which is what EACv2 contains) and an actual kernel module, seems to be that other parts of the kernel will be protected from EACv2. However, an eBPF program can spy on all your user space programs, read memory belonging to other processes, etc. They're also saying that the anti-cheat is going to include a systemd service, which I assume is going to run as root.

  • source
  • parent
  • context
  • [–] 5 points 2 weeks ago

    It's a super cool project to design and build your own VR headset, and I love open source/hardware. But I think it with hardware projects on Kickstarter it's extra important to remember that you are funding a dream, which may or may not become reality. I'm sure most people know this by now, but there are always new people backing a project for the first time, and I doubt everybody thoroughly reads and understands Kickstarter's terms. With that said, I hope these guys manage to reach their funding goal and finish the project.

  • source
  • [–] 2 points 2 weeks ago (1 child)

    I'm not sure what the previous poster was thinking of, but I also thought they were talking about distro packages. I meant my post to be a complement to yours, not a counter-argument.

    So far the recommendations I've seen have been to update OS ca-certificates, or to manually remove the compromised ones. And the Python devs are saying to update pip and uv. I guess the same goes for npm, but I uninstalled that a long time ago due to the abundance of supply chain attacks. I haven't seen anyone trustworthy source recommend rolling anything back.

  • source
  • parent
  • context
  • [–] 4 points 2 weeks ago (3 children)

    From my amateur investigation, it seems like pip/npm/etc. packages are potential attack vectors, BUT afaik this issue only allows a malicious actor to impersonate a HTTPS server, it doesn't give them any new means to redirect your connect to their fake server. So if I understand this right, to be directly affected you would have had to:

    • Accidentally connected to a fake server, like steamcomnunity instead of steamcommunity.
    • Used a network controlled by the malicious actor, for example a public wifi.
    • Be targeted by your ISP, a government agency or some other corporation capable of intercepting internet traffic from your own network.

    So to me it seems like the risk of being affected is quite low for the average user, BUT (again) I assume that through sheer numbers, there's a risk that some other developer gets infected by malware or gets their credentials stolen, which in turn could to supply chain attacks in the future.

    I guess one thing Pythong developers have to be mindful of is that they might have venvs containing old versions of pip, which aren't automatically fixed when you upgrade pip on system level

  • source
  • parent
  • context
  • [–] [S] 3 points 2 weeks ago

    Yes, it's absolutely recoverable if you know your way around the OS, but now that Linux is getting more popular I suspect there are an increasing number of people who wouldn't know how. The reason I didn't write the exact commands I had to run to activate the unlocker was that I wanted to reduce the risk of someone copy-pasting commands they don't understand into a terminal, and then being unable to repair their install if it stops booting.

  • source
  • parent
  • context
  •  

    Using the same exploit that recently allowed unlocking features of Nvidia mining GPUs, an unlocker for RTX 3090 has been created. Unfortunately the card doesn't have hidden VRAM to enable, but we can get some free floating point processing power.

    The install instructions are a bit vague, but on my Fedora install I had to manually add the kernel command line arg (gpu_unlock.targets) and rebuild initramfs after running the build/install command.

    I did some simple comparison using ComfyUI, and image generation became 33% faster when using fp8 and bf16 models. However, with an int8 convrot quantized model I only got around 8% speedup, which make sense since it would use the int8 tensor cores of the RTX 3090 which weren't locked to begin with.

    I didn't write down my exact tokens/s in llama.cpp before installing the unlocker, but the numbers I got after were roughly the same as I remembered, which also makes sense since I use quantized models that afaik use integer tensor ops.

    As with all hardware "hacking" you should be careful. This seemed relatively safe to me since it doesn't permanently alter anything on the GPU so it should be easy to revert. And it shouldn't mess with current limits or clock speeds, which could more easily damage the hardware.

    The install procedure does involve changing some kernel boot parameters, so if you make a mistake it's possible that you soft-brick your OS.

     

    Using the same exploit that recently allowed unlocking features of Nvidia mining GPUs, an unlocker for RTX 3090 has been created. Unfortunately the card doesn't have hidden VRAM to enable, but we can get some free floating point processing power.

    The install instructions are a bit vague, but on my Fedora install I had to manually add the kernel command line arg (gpu_unlock.targets) and rebuild initramfs after running the build/install command.

    I did some simple comparison using ComfyUI, and image generation became 33% faster when using fp8 and bf16 models. However, with an int8 convrot quantized model I only got around 8% speedup, which make sense since it would use the int8 tensor cores of the RTX 3090 which weren't locked to begin with.

    I didn't write down my exact tokens/s in llama.cpp before installing the unlocker, but the numbers I got after were roughly the same as I remembered, which also makes sense since I use quantized models that afaik use integer tensor ops.

    As with all hardware "hacking" you should be careful. This seemed relatively safe to me since it doesn't permanently alter anything on the GPU so it should be easy to revert. And it shouldn't mess with current limits or clock speeds, which could more easily damage the hardware.

    The install procedure does involve changing some kernel boot parameters, so if you make a mistake it's possible that you soft-brick your OS.

    [–] 3 points 3 weeks ago (1 child)

    Would've been nice if the model was made to fit in 22GB VRAM, so one could fit it together with a graphical desktop environment on a 24GB GPU.. But I guess we're not NVidia's intended user base.

  • source
  •  

    Artikeln är inte helt tydlig, men den säger att enligt lag så krävdes en miljöanalys för avverkningen. Och då Google högg ner skogen innan den analysen var klar, så är det väl inte helt fel att säga att de gjorde det olagligt?

    Sen är det ju förstås fullt möjligt att analysen givit dem klartecken ändå, men jag tycker det är en skrämmande utveckling att internationella storföretag helt skamlöst och utan rädsla för konsekvenser bara gör som de vill här uppe i Norden. Finns ju en möjlighet att Palantir gör något liknande med marken de köpt i Jämtland.

     

    Summary of "Anti Cheat at Embark Studios" prensentation by Embark Studios Senior Software Engineer Tom van Dijck, at devcom in Germany on August 24.

    ... Linux presents an even worse situation. Because users can custom-build the OS kernel, embedding a cheat directly into the kernel and compiling it makes it nearly impossible for a game to detect its existence. "How do you detect that?" van Dijck asked, adding that while support for SteamOS and Proton will remain, platform requirements will become stricter.

    Though he mentions anti-cheat on Linux being more challenging to implement that on Windows, he doesn't seem to think that it's impossible. He goes on to talk about "undetectable" cheating hardware becoming cheaper, which sounds like a bigger problem, but he sounds optimistic about being able to detect those as well.

    IMO "platform requirements will become stricter" could mean something like only allowing signed kernels with anti-cheat module built in + secure boot.

     

    Självklart insisterar de att inget kommer förändras, men vad tror ni?

    Personligen är jag av åsikten att inget kommer troligtvis ändras över natten, men på lite längre sikt är jag tveksam till att "Bahnhof" kommer fortsätta stå upp för oss kunder på samma sätt. Ifall Telenor har en överenskommelse med Upphovsmaffian (Bahnhofs namn, inte mitt) känns det osannolikt att de kommer tillåta ett dotterbolag sätta sig på tvären allt för mycket. Så vitt jag vet har även Bahnhof låtit bli att logga kunders trafik mer än det minimum som lagen kräver, för att inte hjälpa till med massövervakning, och jag skulle inte ta för givet att det kommer fortsätta så i all evighet med Telenor bakom spakarna.

     

    För ett tag sedan så fick vi hemsortering, dvs. 3 soptunnor med olika fack för restavfall och alla olika sorters återvinning (utom textil). Nu när vi haft det ett tag så får jag väl ändå säga att jag tycker det är riktigt bra. Sopsortering kanske inte är det mest intressanta ämnet att snacka om men jag blev lite pepp att posta om det när det för ovanlighetens skull är något som förändras till det bättre i samhället istället för det motsatta ;D. Kanske iofs är lite deppigt om man tänker efter

    Kollade efter någon bra länk att inkludera i posten, ifall ngn inte hört talas om konceptet, och baserat på sökresultat så såg det inte ut att finnas i hela landet, men här på Västkusten tror jag det är standard nu.

    En nackdel är förstås att de 3 tunnorna tar lite mer plats än de gamla 2, men i gengäld så fyller vi inte tvättstugan med återvinning i väntan på nästa tur till miljöstationen. Vad tycker ni?

     

    Fick detta på mailen eftersom jag är prenumerant, det var lite utförligare än den publika artikelt så jag kopierar några delar.

    ...

    Länge ägdes Råd & Rön av Konsumentverket, men för 20 år sedan togs bolaget över av organisationen Sveriges Konsumenter. Och nu är det alltså dags för ett nytt ägarbyte. Det innebär dock inte att Råd & Röns inriktning kommer att förändras.

    Annonsfriheten och oberoendet ska bibehållas. Råd & Rön ska även fortsättningsvis ha en egen ansvarig utgivare, som alltså fortsatt fattar besluten om vad det är som ska publiceras.

    ...

    En viktig bakgrund till Sveriges Konsumenters beslut att sälja tidningen är den mycket svåra ekonomiska situation organisationen befunnit sig under flera år. Men det har också varit helt avgörande vem som velat köpa.

    Dagens Nyheter och Bonnier är en långsiktig medieägare som delar Råd & Röns publicistiska grundvärderingar kring trovärdighet och oberoende. Med en stark ägare i ryggen får Råd & Rön också utökade utvecklingsmöjligheter och också förutsättningar att nå ut ännu bredare.

    Svenska konsumenter möts i dag av ett ständigt hårdnande bombardemang av aggressiv reklam, luriga shoppingsajter, bedrägeriförsök och ett enormt utbud av kassa prylar. Mot den bakgrunden är Råd & Röns oberoende journalistik viktigare än någonsin.

    ...

    Självklart säger de att inget kommer förändras (de delarna jag inte tog med var ännu mer intygelser om att så var fallet), hur mycket litar ni på det? Det är lätt att påstå att Bonnier Group har bra "publicistiska grundvärderingar kring trovärdighet och oberoende" men hur långt brukar företags värderingar räcka i praktiken om det plötsligt skulle bli mer lönsamt att göra något annat? Jag litar inte på att ett företag står upp för konsumenters rättigheter mot företag för fem öre. Fast det som kanske förbättrar situationen lite i det är fallet är att Bonnier huvudsakligen håller på med media, medan Råd & Rön har mer fokus på fysiska produkter, matvaror och tjänster.

     

    Svårt att vara medveten konsument i dagens samhälle.. Inte nog med att många företag säljer varor av tvivelaktig kvalitet och/eller har dålig kundtjänst, dessutom har det blivit en stor industri att lura folk att köpa saker för att tjäna pengar på Amazon affiliate-länkar. En av de få saker vi konsumenter kan göra är att betygsätta och kommentera varor och företag, men vilka konsumentsajter litar ni på?

    Pricerunner - Om jag inte minns fel så var väl Pricerunner den första sajten för att hitta de bästa priserna? Men jag tycker den har blivit väldigt dålig för att jämföra olika produkter, så det är väl mer när man vet exakt vad man vill ha som man kan hitta var den är billigast. Känns mer som en reklampelare för företagen som betalar för att vara med, men det kankse inte är så konstigt nu när den drivs av Klarna. Betyg: 2 av 5.

    Prisjakt - Kommer ihåg när prisjakt först kom så var den ett grymt bra hjälpmedel att välja tekniska prylar genom att att filtrera på alla tänkbara egenskaper. Sen gick det väl inte så bra ekonomiskt, så den bytte ägare ett par gånger. Längs med vägen bytte de till ett mer "modernt" UI, dvs. mer ett flöde av produkter du ska köpa, och mindre fokus på att ge detaljerad info om dem. De tog de bort möjligheten för användare att rätta och komplettera produktinfo, så många saker saknar eller har felaktiga specifikationer. Lite då och då ger de också felaktiga priser pga. länkar till fel produkter. Ursprungligen en klockren femma, men nu ger jag den betyg: 3 av 5.

    Råd&Rön - Svensk klassiker men kostar lite pengar att prenumerera på. Känns som de över lag har seriös testmetodik men de verkar inte bry sig om anti-features, t.ex. om en produkt kräver molntjänster för att fungera även om den inte borde det. Begränsade möjligheter att filtrera/söka produkter, man får lägga dem i en stor tabell och göra det manuellt. Betyg: 4 av 5.

    Rtings - Väldigt teknisk testning av ett ökande urval av produktkategorier. Allt som går att mäta på en produkt mäts. Jag använde sajten för att hitta en datormus som passar mitt grepp, och de har till och med 3d-scannade modeller av alla möss vilket var väldigt användbart för mig. Tyvärr en betalsajt, men man får läsa 10 detaljrecensioner samt använda jämförelseverktyg gratis. En nackdel är att den har väldigt stort fokus på USAs marknad, och många testade produkter går inte att köpa här, samtidigt som europeiska märken kan saknas. Betyg: 4.5 av 5.

    cpubenchmark - Inte riktigt samma sak, men väldigt användbar för att välja vilken CPU man ska köpa så den får ett hedersomnämnande.

    view more: next ›