Aller au contenu
Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Vous aimez les cryptomonnaies ❤️ Korben.info, alors cliquez ici pour me soutenir ! Merci !

@  — 

Vous avez vu la dernière version d’Ollama ? Cette version 0.133 a l’air plutôt pas mal. Bon, je sais, je sais, ça faisait un bail que je n’avais pas parlé des mises à jour de cet outil génial pour faire tourner des modèles d’IA en local, mais là, impossible de passer à côté !

Déjà, on a le droit à des fonctionnalités expérimentales de parallélisme (je sais pas si c’est comme ça qu’on dit en français…) qui vont vous permettre d’optimiser grave vos applis d’IA. Il y a donc 2 nouvelles variables d’environnement qui débarquent : OLLAMA_NUM_PARALLEL et OLLAMA_MAX_LOADED_MODELS. Avec ça, vous allez pouvoir gérer plusieurs modèles et requêtes en même temps, comme des pros ! 😎

Par exemple, si vous avez un modèle pour compléter votre code avec une IA de 6 milliards de paramètres comme Llama 3, et en même temps vous demandez à Phi 3 Mini et ses 3,8 milliards de paramètres comment architecturer votre projet et bien maintenant, c’est possible ! Comme ça, plus besoin d’attendre que l’un ait fini pour lancer l’autre puisque tout ça va se lancer en parallèle.

Alors bien sûr, c’est encore expérimental car il n’y a pas encore de priorité, et on est limité par la mémoire dispo sur notre machine. D’ailleurs, il vaut mieux avoir 16 Go de RAM et un CPU 4 cœurs pour que ça fonctionne correctement.

Il y a aussi plein de nouveaux modèles d’IA compatibles avec Ollama maintenant. Des gros calibres comme Llama 3, le meilleur modèle open-source à ce jour, mais aussi des plus légers et spécialisés comme Phi 3 Mini, Moondream pour la vision par ordinateur sur des appareils à la marge, ou encore Dolphin Llama 3 qui répond sans censure. Et le premier modèle Qwen (c’est chinois) de plus de 100 milliards de paramètres, Qwen 110B, est également de la partie. Ça en fait des compagnons pour nous assister dans nos projets !

Ensuite, imaginons que vous vouliez tester le parallélisme. Vous devez simplement lancer votre serveur Ollama avec les fameuses variables d’environnement.

Voici comment procéder :

Définir les variables sur Mac :

  • Utilisez launchctl pour définir chaque variable. Par exemple, pour permettre à Ollama de gérer trois requêtes simultanément, tapez dans le terminal :
    launchctl setenv OLLAMA_NUM_PARALLEL 3
  • Pour définir le nombre maximal de modèles chargés simultanément à deux, utilisez :
    launchctl setenv OLLAMA_MAX_LOADED_MODELS 2
  • Après avoir défini les variables, redémarrez l’application Ollama.

Configurer les variables sur Linux :

    • Éditez le service systemd d’Ollama avec systemctl edit ollama.service, ce qui ouvrira un éditeur de texte.
    • Ajoutez les lignes suivantes sous la section [Service] :
      [Service] Environment="OLLAMA_NUM_PARALLEL=3" Environment="OLLAMA_MAX_LOADED_MODELS=2"
    • Sauvegardez et quittez l’éditeur. Rechargez systemd et redémarrez Ollama avec :
      systemctl daemon-reload systemctl restart ollama

    Paramétrer les variables sur Windows :

      • Quittez l’application Ollama via la barre des tâches.
      • Accédez aux variables d’environnement système via le panneau de configuration et créez ou modifiez les variables pour votre compte utilisateur :
        • Pour OLLAMA_NUM_PARALLEL, ajoutez ou modifiez la variable à 3.
        • Pour OLLAMA_MAX_LOADED_MODELS, ajustez la variable à 2.
      • Appliquez les changements et redémarrez Ollama à partir d’une nouvelle fenêtre de terminal.

      Là, ça veut dire que vous pourrez envoyer 3 requêtes en parallèle sur le même modèle, et charger jusqu’à 2 modèles différents si votre RAM de 16 Go minimum le permet.

      Bon, et une fois que c’est lancé, vous pourrez envoyer des requêtes à tour de bras. Un coup à Llama 3 pour qu’il vous aide à générer un résumé de texte hyper optimisé, un autre à Phi 3 Mini pour résumer un article scientifique, tout ça pendant que Moondream analyse une image pour de la détection d’objets.

      Allez, je vous laisse tranquille, faut que j’aille optimiser mes scripts maintenant.

      Ollama 0.133 est dispo ici.

      Source


      @  — 

      Si vous ne l’avez pas encore fait, je vous recommande vivement d’activer la double authentification sur tous vos comptes en ligne. C’est hyper important !

      Alors évidemment, pour cela vous aurez besoin d’une application 2FA et j’en ai déjà recommandé beaucoup comme Authy, 2FAS, Google Authenticator, celle de Lastpass et j’en passe. Et aujourd’hui, je vous en fait découvrir une nouvelle qui s’appelle très sérieusement Authenticator Pro (mais ça n’a rien à voir avec l’app de Google).

      Authenticator Pro est donc une appli de 2FA qui fonctionne sous Android et supporte les algorithmes de hachage SHA1, SHA256 et SHA512, ainsi que les protocoles TOTP (basé sur le temps) et HOTP (basé sur un compteur). Elle gère également les codes Mobile-Otp, Steam et Yandex.

      En plus d’être compatible avec la plupart des services et providers, Authenticator Pro vous permet également de sauvegarder vos données de manière sécurisée grâce à un bon chiffrement et les restaurer facilement en cas de changement de téléphone. Comme ça, pas de panique si votre cher smartphone vous laisse tomber.

      Y’a un mode sombre pour ceux qui sont de la night et vous pourrez même organiser tous vos codes dans des catégories comme un bon maniaque du rangement. Vous l’aurez compris, Authenticator Pro fonctionne offline et surtout respecte votre vie privée. Niveau permissions, comme je sais que ça vous tient à cœur, sachez le, elle est plutôt du genre discrète : une seule autorisation requise pour fonctionner, c’est tout ! Cela concerne l’accès à la caméra pour flasher les QR codes des comptes à ajouter.

      Et pour les plus geeks d’entre vous, l’app est compatible avec Wear OS. Comme ça vous pourrez valider vos connexions directement depuis votre poignet, tel un agent secret.

      Il ne vous reste plus qu’à foncer sur F-Droid, le PlayStore ou IzzyDroid pour l’installer.

      Allez, c’est parti, vous n’avez plus d’excuses pour ne pas sécuriser vos compte en ligne !

      @  — 

      Salut tout le monde,

      Aujourd’hui, nous sommes le 5 mai 2024 et c’est une date très spéciale pour moi, car je fête avec vous tous, les 20 ans de mon site web korben.info !

      Y’a 20 ans, en 2004, quand j’ai commencé, le site s’appelait Korben.tk et était destiné à distribuer des petits softs que je développais. J’avais alors 22 ans, je finissais mes études, et je cherchais du boulot. Et rapidement, j’ai commencé à écrire des articles sur ce site statique, des années avant même que je ne sache ce qu’était un blog.

      Mon objectif à l’époque, qui est toujours le même aujourd’hui, c’était de partager avec les gens qui me lisent, tout ce qui me plait et également d’avoir une espèce de pense bête Tech qui me retrouver plus tard une astuce ou un logiciel que j’aurais trouvé utile. D’ailleurs e ne compte pas les fois où je suis retourné lire mes propres articles pour retrouver tel ou tel truc.

      Je suis donc à la fois très fier du chemin parcouru, parce que 20 ans pour un site web, alimenté quotidiennement (je suis bientôt 17 000 articles) , c’est quand même pas un truc qui arrive souvent. Et je suis également rempli de gratitude envers vous tous, qui me lisez, pour certains depuis les débuts. Un énorme merci à vous !

      La vie du site et la mienne sont assez entremêlées puisque je suis seul aux commandes depuis toujours, même si j’ai parfois des guests qui passent me poster un article de temps en temps pour le fun. J’ai aussi toujours fait en fonction de mes envies, en fonction de mon temps disponible également et j’ai grandi et évolué avec le site même si sur le fond, y’a pas eu de grands bouleversements. Je parle toujours uniquement de ce qui me plait et m’intéresse et tant pis si ça marche ou pas. En tout cas, ça m’a permis de rencontrer pas mal de monde, de vous rencontrer également, de vivre des expériences de dingue, d’aller dans des endroits uniques… J’ai beaucoup travaillé pour avoir cette chance, me levant trèèèès tôt le matin et me couchant trèèèès tard le soir après le boulot pour alimenter ce site sans faillir.

      Aujourd’hui, c’est évidemment beaucoup plus rodé en termes de rythme… J’ai maintenant 42 ans et je suis content de vivre de ma passion et de partager tout cela avec vous. Vous êtes d’ailleurs encore plusieurs millions à passer ici chaque mois et j’ai toujours la flamme, ce plaisir de la découverte et du partage, alors tout va bien. On verra si dans 20 ans, le bébé à lunettes sera encore sur la toile, mais moi tant que ça me plait, je continue.

      Je tiens évidemment à remercier toutes les personnes qui au fil des années m’ont soutenu, donné un coup de main, des conseils, ou avec qui j’ai travaillé, car c’est également leur victoire. Merci à tous ! Merci aussi à mon entourage et ma famille qui m’a toujours soutenu, y compris dans mes galères qu’elles soient techniques ou humaines.

      Et puis surtout, merci à vous d’être encore là après tant d’années. C’est toujours un plaisir d’échanger avec vous quand j’ai la chance de vous croiser IRL ou sur la toile. C’est quand même cool de partager des passions communes avec d’autres gens.

      Bref pour fêter ça, je vous laisse avec une animation que mon fiston de 13 ans a réalisée spécialement pour l’occasion. Vous allez voir, il fait déjà de belles choses et je suis un papa très fier :).

      À très vite et bon dimanche à tous !

      @  — 

      Si vous êtes devop, vous savez qu’il est essentiel de savoir surveiller et déboguer les applications en temps réel.

      Mais le faire n’est pas si simple, surtout si celles-ci tournent dans des conteneurs Docker. C’est là qu’intervient l’outil libre Dozzle !

      Grâce à une interface intuitive et des fonctionnalités d’analyse temps réel et de filtrage, les développeurs et les administrateurs système que vous êtes pourront facilement accéder aux journaux générés par leurs conteneurs Docker.

      Avec Dozzle, les utilisateurs peuvent bénéficier d’un affichage des logs en temps réel sans avoir besoin de rafraîchir la page et l’outil prend en charge les journaux JSON avec une coloration intelligente, ce qui en facilite la lecture et la compréhension. L’installation et la configuration de Dozzle sont relativement simples et rapides. L’outil peut être installé localement ou utilisé pour se connecter à des hôtes distants via tcp:// et tls.

      Le moyen le plus simple d’installer Dozzle est d’utiliser la commande Docker CLI et de monter le fichier docker.sock. Ce fichier se trouve généralement dans le répertoire /var/run/docker.sock. Vous devez également spécifier le port d’accès à l’interface de Dozzle. Par défaut, Dozzle écoute sur le port 8080, mais vous pouvez modifier le port externe en utilisant l’option -p.

      Voici la commande à utiliser :

      docker run --detach --volume=/var/run/docker.sock:/var/run/docker.sock -p 8080:8080 amir20/dozzle

      Docker Compose permet de configurer Dozzle plus facilement au sein d’un projet existant.

      Voici un exemple de fichier docker-compose.yml pour Dozzle :

      version: "3"
services:
  dozzle:
    container_name: dozzle
    image: amir20/dozzle:latest
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    ports:
      - 9999:8080

      Ensuite, pour lancer Dozzle avec Docker Compose, enregistrez le fichier docker-compose.yml dans votre projet et exécutez la commande suivante dans votre terminal :

      docker-compose up -d

      Quelle que soit la méthode choisie, une fois Dozzle lancé, vous pourrez alors accéder à son interface web pour visualiser les journaux de vos conteneurs Docker.

      Amusez-vous bien et bon debugging à tous !

      @  — 

      Soirée ciné ce soir ?

      Bah ouais, mais on regarde quoi ? Difficile de choisir ! Heureusement, il existe un site qui va vous permettre de trouver le film parfait à regarder : FlickMetrix.

      Ce site vous permet de parcourir un catalogue de films (et de séries) où tout est filtrable avec de nombreux critères comme le genre du film, sa date de sortie, sa note, la plateforme sur laquelle il est dispo…etc. Film populaire, film indépendant ou classique du cinéma, vous y trouverez forcement votre bonheur. Et si vous êtes du genre à tout planifier, vous pouvez même ajouter les films qui vous intéressent à une liste de favoris.

      Pour moi qui suis en train de me refaire tous les films des années 80 / 90 avec les enfants, c’est top parce que faut se l’avouer, je ne me souviens pas de tout.

      Ensuite, une fois que vous avez vu un film, vous pouvez l’ajouter à la section « Vus ». Vous aurez ainsi une trace de tous les films que vous avez regardés, ce qui est très pratique pour ne pas retomber sur un film que vous avez déjà vu, ce qui m’arrive souvent !

      FlickMetrix vous proposera également une sélection de films recommandés selon les films que vous avez ajoutés à votre liste de films aimés. Bien sûr, dans la vie, il y a aussi des films qu’on n’aime pas et si vous tombez sur un film qui ne vous plaît vraiment pas, pas de souci ! Vous pouvez le mettre à la corbeille. Ainsi, FlickMetrix évitera de vous le proposer à nouveau.

      Bref, FlickMetrix malgré son design un peu daté, vous permettra de trouver le film parfait pour votre soirée cinoche.

      Allez, à bientôt pour de nouvelles découvertes !