diff --git a/bin/deploy b/bin/deploy new file mode 100755 index 0000000..60807c4 --- /dev/null +++ b/bin/deploy @@ -0,0 +1,9 @@ +#!/bin/sh + +cd "$(dirname "$0")/../" + +git add blog +git commit -S -m "update" +git push + +ssh deblanio-orbit@asuka bin/update diff --git a/bin/update b/bin/update new file mode 100755 index 0000000..721b45b --- /dev/null +++ b/bin/update @@ -0,0 +1,86 @@ +#!/usr/bin/php7.4 + %s [FR] %s (%s)\n", + $file, + $post['title'], + $post['date'] + ); + + $outputMd = 'blog/'.$file.'.md'; + $outputGmi = 'blog/'.$file; + + $files[] = [$outputMd, $outputGmi]; + + $content = sprintf("# %s \n", $post['title']); + $content.= sprintf("* %s \n", $post['date']); + + if (!empty($post['categories'])) { + $content.= sprintf("* %s \n", implode(', ', $post['categories'])); + } + + $content.= "\n"; + $content.= $post['content']; + + file_put_contents($outputMd, $content); +} + +foreach ($files as $v) { + shell_exec(sprintf( + 'md2gemini %1$s > %2$s && rm %1$s', + $v[0], + $v[1] + )); +} + +$index.= "\n"; +$index.= "───────────────────────────────────────────────────\n"; +$index.= "Je soutiens Tinternet & cie, les Chatons et l'April\n"; +$index.= "Simon Vieille - Textes libres sauf indication(s) contraire(s)\n"; + +file_put_contents('blog/index.gmi', $index); diff --git a/blog/index.gmi b/blog/index.gmi index b51eaf4..c816052 100644 --- a/blog/index.gmi +++ b/blog/index.gmi @@ -15,9 +15,13 @@ Derniers articles | Latest posts ──────────────────────────────── +=> posts/599.gmi [FR] Mettre en place un VPN avec Wireguard (2021-04-07 10:30:00) +=> posts/597.gmi [FR] Migration de blog vers Murph (2021-03-31 10:08:00) +=> posts/595.gmi [FR] Mon thème pour ZSH (2021-02-12 13:09:02) +=> posts/596.gmi [FR] Google démantèle son éthique (et tout le monde s'en fout...) (2021-02-12 00:11:00) => posts/594.gmi [FR] Bilan tech de l'année 2020 (2020-12-22 10:00:00) => posts/593.gmi [FR] Décrets PASP : fichage massif des militants politiques (2020-12-09 09:46:52) -=> posts/592.gmi [FR] Le PDG de FaceBook, Mark Zuckerberg, malmené lors de son audition au Sénat américain (17/11/20) (2020-11-19 22:39:23) +=> posts/592.gmi [FR] Le PDG de FaceBook, Mark Zuckerberg, malmené lors de son audition au Sénat américain (17/11/20) (2020-11-19 10:39:00) => posts/591.gmi [FR] Mail RSS : transformer des mails en flux RSS (2020-11-12 18:04:42) => posts/589.gmi [FR] Cohabitation de Collabora Online et OnlyOffice sur Nextcloud (2020-10-20 11:58:23) => posts/590.gmi [FR] La liberté d'expression encore menacée (2020-10-17 15:13:52) @@ -25,16 +29,22 @@ Derniers articles | Latest posts => posts/587.gmi [FR] Tinternet & cie vous recommande le documentaire "Derrière nos écrans de fumée" (2020-10-04 11:34:46) => posts/586.gmi [FR] J'ai essayé de migrer de Firefox (2020-08-24 11:07:42) => posts/585.gmi [FR] Festival Le 1er jour d'après - Le numérique (2020-05-05 15:13:01) -=> posts/584.gmi [FR] L'association La Furieuse lance un "Festival 100% local et virtuel pour inventer Le 1er jour d'après" (2020-04-27 12:50:31) +=> posts/584.gmi [FR] L'association La Furieuse lance un "Festival 100% local et virtuel pour inventer Le 1er jour d'après" (2020-04-27 00:50:00) => posts/581.gmi [FR] Application Nextcloud : nouvel emplacement pour le menu (2020-04-07 13:53:45) -=> posts/583.gmi [FR] "On est en pleine guerre informatique" : après le coronavirus, faut-il s'attendre à une autre crise ? (2020-04-06 15:04:31) -=> posts/582.gmi [FR] Tous surveillés - 7 milliards de suspects | ARTE (2020-04-01 12:46:59) +=> posts/583.gmi [FR] "On est en pleine guerre informatique" : après le coronavirus, faut-il s'attendre à une autre crise ? (2020-04-06 03:04:00) +=> posts/582.gmi [FR] Tous surveillés - 7 milliards de suspects | ARTE (2020-04-01 00:46:00) => posts/580.gmi [FR] Monitoring d'un terrarium (2020-03-25 02:00:56) -=> posts/579.gmi [FR] Réseaux sociaux : flux à lier - #DATAGUEULE 95 (2020-02-26 08:31:51) +=> posts/579.gmi [FR] Réseaux sociaux : flux à lier - #DATAGUEULE 95 (2020-02-26 08:31:00) => posts/578.gmi [FR] Analyser efficacement un fichier CSV (2020-02-20 15:17:02) => posts/577.gmi [FR] Je suis critique pour moi-même (2020-01-31 21:21:49) => posts/576.gmi [FR] Bilan de l’année 2019 (2020-01-09 10:30:54) => posts/575.gmi [FR] Expiration de certificats SSL (2019-12-09 13:34:12) +=> posts/574.gmi [FR] Contourner les trackers de YouTube (2019-08-21 11:44:53) +=> posts/573.gmi [FR] Outil de création d’un espace web Apache et PHP (2019-08-01 13:25:45) +=> posts/571.gmi [FR] *.deblan.org censuré sur Facebook (2019-07-18 09:35:45) +=> posts/570.gmi [FR] API pour récupérer le contenu Open Graph d'une page web (2019-06-26 17:01:25) +=> posts/569.gmi [FR] Générer un rapport d'un serveur en HTML/Texte dans fichier et/ou un mail (2019-06-12 02:31:00) +=> posts/568.gmi [FR] DOSSIER. Reprendre la main sur ses données avec l’auto-hébergement (2019-05-25 04:14:00) ─────────────────────────────────────────────────── Je soutiens Tinternet & cie, les Chatons et l'April diff --git a/blog/posts/568.gmi b/blog/posts/568.gmi new file mode 100644 index 0000000..fdc624c --- /dev/null +++ b/blog/posts/568.gmi @@ -0,0 +1,14 @@ +# DOSSIER. Reprendre la main sur ses données avec l’auto-hébergement + +* 2019-05-25 04:14:00 +* Divers, Informatique, Quick links + +```html +
+

Dans un dossier complet, Tinternet & cie vous explique comment nous pouvons reprendre la main sur nos données personnelles sur internet.

+
+``` + +```html +

Un premier article d'une longue série j'espère 🙂

+``` diff --git a/blog/posts/569.gmi b/blog/posts/569.gmi new file mode 100644 index 0000000..648639c --- /dev/null +++ b/blog/posts/569.gmi @@ -0,0 +1,27 @@ +# Générer un rapport d'un serveur en HTML/Texte dans fichier et/ou un mail + +* 2019-06-12 02:31:00 +* Informatique, Quick links + +```html +

Ce projet génère un rapport générique sur une distribution Debian GNU/Linux (+ Ubuntu).

+``` + +```html + +``` + +```html +

Ce rapport pourra être enregistré dans un fichier et/ou envoyé par mail.

+``` + +```html +

Sa configuration est très simple et tout est documenté dans le README du projet.

+``` diff --git a/blog/posts/570.gmi b/blog/posts/570.gmi new file mode 100644 index 0000000..dfa4e1b --- /dev/null +++ b/blog/posts/570.gmi @@ -0,0 +1,41 @@ +# API pour récupérer le contenu Open Graph d'une page web + +* 2019-06-26 17:01:25 +* Développement + +```html +

Pour la fonctionnalité de partage de liens sur ce blog, j'ai développé +un script qui récupére le contenu d'une page et analyse ses balises <meta> +pour identifier ses données Open Graph.

+``` + +```html +

Dans un autre contexte, j'ai rencontré un bug dans Wallabag +qui l'empêche de récupérer le contenu de plusieurs pages web que je désirait lire plus tard. +Avec la volonté de créer un rapport de bug, la documentation m'a amené sur la piste du projet Graby +utilisé par Wallabag.

+``` + +```html +

Pour comprendre et peut-être proposer un correctif, j'ai joué avec Graby et +ça m'a amené à réaliser une API pour remplacer le script utilisé par le blog, +en combinent Graby et fusonic/opengraph. +L'objectif de l'API est donc de retourner des données générées par Graby et OpenGraph au format JSON.

+``` + +```html +

Voici à quoi ressemble un retour d'appel à l'API avec les données Open Graph :

+``` + +```html +
+``` + +```html + +``` + +```html +

Le projet est dépendant de PHP 7.3 et c'est libre. +Le code source est dispo ici.

+``` diff --git a/blog/posts/571.gmi b/blog/posts/571.gmi new file mode 100644 index 0000000..b5f58c2 --- /dev/null +++ b/blog/posts/571.gmi @@ -0,0 +1,48 @@ +# *.deblan.org censuré sur Facebook + +* 2019-07-18 09:35:45 +* Informatique + +```html +

Hier, en partageant un lien vers un dossier Nextcloud dans une conversation Messenger, +Facebook m'a affiché un message qui indique que deblan.org ne suit pas +les "Standards de la communauté".

+``` + +```html +

capture d'écran

+``` + +```html +

En fouillant un peu plus, il s'avère que tous les domaines de deblan.org +sont concernés. Il semble également que le mot deblan.org est aussi en liste noire.

+``` + +```html +

capture d'écran

+``` + +```html +

En fouillant encore un peu plus, Facebook a décidé que le partage de l'article +vers mon projet deblan/deblan-report +était lui aussi contraire à ces fameux "Standards de la communauté" (cf la capture d'écran) +alors que je suis l'auteur d'absolument tous les contenus du dit article.

+``` + +```html +

Alors, on peut se demander pourquoi une telle décision ? Aucune idée. Mais si de mon coté +ça ne me pose pas plus de soucis que ça, les quelques personnes qui hébergent du contenu +sur mon serveur seront peut-être un peu plus contrariées.

+``` + +```html +

Voici un bel exemple de censure, sans fondement et sans explication. Il faut rappeler +que Facebook n'est pas qu'un simple hébergeur de contenus, c'est avant tout un site éditorialiste +qui décide de ce qui doit apparaître ou pas dans ses pages, en dehors de tout cadre juridique.

+``` + +```html +

Ce web égo-centré est de l'ancien monde et ça me pousse encore plus vers les services +du Fediverse, loins de ces sociétés nauséabondes qui +crachent à la gueule de tout le monde et qui continueront à le faire car la majorité des gens s'en tapent.

+``` diff --git a/blog/posts/573.gmi b/blog/posts/573.gmi new file mode 100644 index 0000000..020d31e --- /dev/null +++ b/blog/posts/573.gmi @@ -0,0 +1,40 @@ +# Outil de création d’un espace web Apache et PHP + +* 2019-08-01 13:25:45 +* Développement, Informatique + +```html +

Dans mon activité personnelle et professionnelle, je suis amené à créer des +espaces d’hébergement de sites web principalement écrits en PHP.

+``` + +```html +

Il y a quelques années, j’ai écris un script en shell qui posait des questions +et générait des fichiers de configuration pour Apache et PHP puis relançait ces +services. Il a ensuite évolué et générait également les utilisateurs unix et +affinait les permissions. Le principal problème du script est que d’un serveur +à l’autre, il fallait mettre des coups de hache dans le code pour l’adapter.

+``` + +```html +

Cette semaine, j’ai entamé une refonte complète du code. Au fur et à mesure du +développement, j’ai rendu pas mal de choses configurables et je pense qu’il est +fonctionnel sur des environnements relativement différents des miens.

+``` + +```html +

Je vous présente donc vhost-manager, c'est un projet libre et est toujours orienté +vers la génération de vhost Apache et de pools PHP FPM. Il faut make, gcc, +wget pour l'installer et sh, whiptail et php sont nécessaires à +son utilisation.

+``` + +```html +

vhost-manager

+``` + +```html +

Le code source est disponible ici. +Le projet se configure via un fichier de variables et j'ai conservé le +principe des questions/réponses pour générer les fichiers.

+``` diff --git a/blog/posts/574.gmi b/blog/posts/574.gmi new file mode 100644 index 0000000..746f30a --- /dev/null +++ b/blog/posts/574.gmi @@ -0,0 +1,65 @@ +# Contourner les trackers de YouTube + +* 2019-08-21 11:44:53 +* Informatique + +```html +

Lors des échanges sur la protection de la vie privée et la décentralisation +des données, la question de YouTube est un sujet qui fait débat. En effet, je +peux créer une instance PeerTube ou en choisir une des nombreuses disponibles +pour publier une vidéo mais qu'est est-il de la consultation ? Si des +créateurs font le choix de déposer leurs vidéos sur plusieurs plateformes, +d’autres se contentent de ne publier que sur YouTube. Dès lors, on est contraint +de passer par YouTube pour accéder à ses contenus et cela implique de subir le +tracking publicitaire de Google.

+``` + +```html +

Invidious est un projet libre sous licence AGPLv3 qui permet ne plus charger +l’interface très obèse de YouTube et par effet de bord, de ne plus charger les +trackers qu’on peut y trouver. Invidious est assez complet car il permet +également de gérer des comptes utilisateurs sans compte Google, de faire des +recherches, de s’abonner à des chaînes et de faire l'intermédiaire entre vous et +les serveurs vidéos de Google.

+``` + +```html +

Invidious

+``` + +```html +

Pour autant, ce n’est pas totalement suffisant car si vous consultez une page +qui affiche une vidéo YouTube ou que quelqu’un vous partage un lien vers YouTube, +vous allez à nouveau afficher des pages obèses et pleines de trackers. Le +développeur Booteille a réalisé +une extension Firefox +destinée à résoudre cela. Une fois installée et activée, l’extension va automatiquement +remplacer l’Iframe de YouTube par un encart Invidious et rediriger les pages +YouTube vers une instance Invidious de votre choix. Voici à quoi ressemble une +vidéo affichée depuis une instance Invidious.

+``` + +```html +
+``` + +```html +

Après plusieurs semaines d’utilisation, retourner sur le site YouTube est presque +un calvaire car c’est vraiment lent. Invidious charge et affiche les contenus +plus rapidement et le lecteur fait extrêmement bien son boulot. Cependant, si +l’interface de YouTube vous manque un peu, vous pouvez installer le logiciel +FreeTube qui reprend ses codes et permet de +s’interfacer avec une instance Invidious.

+``` + +```html +

FreeTube

+``` + +```html +

Si vous avez envie de tester Invidious, vous pouvez accéder à +l'instance officielle et les +instances publiques +voire de l'installer localement +ou sur votre serveur.

+``` diff --git a/blog/posts/575.gmi b/blog/posts/575.gmi index b5697dd..b9f99c5 100644 --- a/blog/posts/575.gmi +++ b/blog/posts/575.gmi @@ -3,24 +3,35 @@ * 2019-12-09 13:34:12 * Informatique -Fin avril dernier, j'ai publié un projet qui génère un -=> https://www.deblan.io/post/565/verifier-la-date-d-expiration-de-noms-de-domaine récapitulatif de la date d'expiration d'un ou plusieurs nom de domaines -. - -Je publie aujourd'hui une mise à jour qui intègre un outil pour avoir un récapitulatif des **dates d'expirations des certificats SSL**. C'est sur le même principe que pour les noms de domaines avec une uniformisation des affichages. - -Pour l'installation, rien ne change si ce n'est une dépendance à `openssl` : - -```{.language-bash data-title="Installation"} -$ git clone --recurse-submodules https://gitnet.fr/deblan/domain-expiration.git -$ cd domain-expiration -$ composer install +```html +

Fin avril dernier, j'ai publié un projet qui génère un +récapitulatif de la date d'expiration d'un ou plusieurs nom de domaines.

``` -Les commandes varient un petit peu mais rien de bien méchant. Pour tester les noms de domaines : +```html +

Je publie aujourd'hui une mise à jour qui intègre un outil pour avoir un récapitulatif +des dates d'expirations des certificats SSL. C'est sur le même principe que pour les +noms de domaines avec une uniformisation des affichages.

+``` -```{.language-bash data-title="Exemple sans couleur"} -./check domains google.com amazon.com facebook.com apple.com microsoft.com +```html +

Pour l'installation, rien ne change si ce n'est une dépendance à openssl :

+``` + +```html +
$ git clone --recurse-submodules https://gitnet.fr/deblan/domain-expiration.git
+$ cd domain-expiration
+$ composer install
+
+``` + +```html +

Les commandes varient un petit peu mais rien de bien méchant. Pour tester les +noms de domaines :

+``` + +```html +
./check domains google.com amazon.com facebook.com apple.com microsoft.com
 +---------------+------+---------------------+
 | Domain        | Days | Date                |
 +---------------+------+---------------------+
@@ -30,12 +41,15 @@ Les commandes varient un petit peu mais rien de bien méchant. Pour tester les
 | facebook.com  | 3033 | 2028-03-30 04:00:00 |
 | google.com    | 3201 | 2028-09-14 04:00:00 |
 +---------------+------+---------------------+
+
``` -Pour tester les certificats : +```html +

Pour tester les certificats :

+``` -```{.language-bash data-title="Exemple sans couleur"} -./check https-certificates google.com amazon.com facebook.com apple.com microsoft.com +```html +
./check https-certificates google.com amazon.com facebook.com apple.com microsoft.com 
 +---------------+------+---------------------+
 | Domain        | Days | Date                |
 +---------------+------+---------------------+
@@ -45,10 +59,15 @@ Pour tester les certificats :
 | apple.com     | 222  | 2020-07-19 13:25:52 |
 | microsoft.com | 543  | 2021-06-05 13:25:50 |
 +---------------+------+---------------------+
+
``` -Des options peuvent être ajoutées pour modifier le retour en simplifiant le tableau, pour générer du JSON et pour ralentir le programme entre chaque test (très pratique pour récupérer les `whois` sans être bloqué). +```html +

Des options peuvent être ajoutées pour modifier le retour en simplifiant le tableau, +pour générer du JSON et pour ralentir le programme entre chaque test (très pratique +pour récupérer les whois sans être bloqué).

+``` -C'est toujours libre et le code est disponible sur -=> https://gitnet.fr/deblan/domain-expiration Gitnet -. +```html +

C'est toujours libre et le code est disponible sur Gitnet.

+``` diff --git a/blog/posts/576.gmi b/blog/posts/576.gmi index 7c87a5d..c723239 100644 --- a/blog/posts/576.gmi +++ b/blog/posts/576.gmi @@ -3,40 +3,58 @@ * 2020-01-09 10:30:54 * Divers -On est arrivé en 2020 depuis plusieurs jours et j’avais envie de faire le bilan de 2019. Cette année a été assez productive du coté des logiciels libres. J’ai pu contribuer avec la réalisation de quelques projets : +```html +

On est arrivé en 2020 depuis plusieurs jours et j’avais envie de faire le bilan de +2019. Cette année a été assez productive du coté des logiciels libres. J’ai pu contribuer avec +la réalisation de quelques projets :

+``` -* -=> https://www.deblan.io/post/565/verifier-la-date-d-expiration-de-noms-de-domaine Un outil pour récapituler les dates d’expirations de nom de domaines +```html + +``` -et sa -=> https://www.deblan.io/post/575/expiration-de-certificats-ssl mise à jour pour récapituler les dates d’expirations de certificats SSL +```html +

J’ai également publié d’autres projets sans en parler sur mon blog :

+``` -* -=> https://www.deblan.io/post/569/generer-un-rapport-d-un-serveur-en-html-texte-dans-fichier-et-ou-un-mail Une refonte et la publication du code pour générer des rapports serveur -* -=> https://www.deblan.io/post/570/api-pour-recuperer-le-contenu-open-graph-d-une-page-web Une API pour récupérer les informations OpenGraph et les données générées par Graby -* -=> https://www.deblan.io/post/573/outil-de-creation-d-un-espace-web-apache-et-php Un générateur de configuration de vhost pour Apache +```html + +``` -J’ai également publié d’autres projets sans en parler sur mon blog : +```html +

En enfin, j’ai maintenu des projets existants comme +Gist et +l’outil pour s’identifier sur Office 365 +(je cherche d’ailleurs des contributions pour implémenter la double +authentification). +Du côté de l’auto-hébergement, j’ai ajouté quelques services comme wallabag +et cyberchef. Au 31 décembre, 15 services +étaient proposés gratuitement avec un accès libre ou sur inscription et 36 +personnes m’ont fait une demande d’accès à un service restreint (hébergement web, +service mail, Nextcloud, …).

+``` -* -=> https://gitnet.fr/deblan/sms-sender Un script pour envoyer des SMS depuis un shell en s’appuyant sur KDEConnect -* -=> https://gitnet.fr/deblan/mattermost-bot Un outil de publication sur Mattermost de liens provenants de flux RSS +```html +

Cela fait maintenant plus de 10 ans que je m’auto-héberge +et j’héberge maintenant pas mal de monde. Ça tourne super bien et je suis très +content que de plus en plus de gens s'y intéressent. Je suis sollicité par des +associations qui veulent d'affranchir des GAFAM et c'est bien !

+``` -En enfin, j’ai maintenu des projets existants comme -=> https://gitnet.fr/deblan/gist Gist -et -=> https://gitnet.fr/deblan/office365-oauth2-authenticator l’outil pour s’identifier sur Office 365 -(je cherche d’ailleurs des contributions pour implémenter la double authentification). Du côté de l’auto-hébergement, j’ai ajouté quelques services comme -=> https://wallabag.org/fr wallabag -et -=> https://github.com/gchq/CyberChef cyberchef -. Au 31 décembre, 15 services étaient proposés gratuitement avec un accès libre ou sur inscription et 36 personnes m’ont fait une demande d’accès à un service restreint (hébergement web, service mail, Nextcloud, …). +```html +

Tout cela demande de l'investissement mais c’est essentiel pour ne pas laisser +ses données n’importe où.

+``` -Cela fait maintenant plus de 10 ans que je m’auto-héberge et j’héberge maintenant pas mal de monde. Ça tourne super bien et je suis très content que de plus en plus de gens s'y intéressent. Je suis sollicité par des associations qui veulent d'affranchir des GAFAM et c'est bien ! - -Tout cela demande de l'investissement mais c’est essentiel pour ne pas laisser ses données n’importe où. - -On verra comment 2020 va se passer 😉 +```html +

On verra comment 2020 va se passer 😉

+``` diff --git a/blog/posts/577.gmi b/blog/posts/577.gmi index 14d5976..66e355e 100644 --- a/blog/posts/577.gmi +++ b/blog/posts/577.gmi @@ -3,22 +3,45 @@ * 2020-01-31 21:21:49 * Futilités de Geek -La semaine dernière, mon quartier a subi une coupure électrique qui a rendu inaccessible mon serveur auto-hébergé pendant 2 heures. +```html +

La semaine dernière, mon quartier a subi une coupure électrique qui a rendu +inaccessible mon serveur auto-hébergé pendant 2 heures.

+``` -Il m'a fallu seulement quelques petites minutes pour me rendre compte qu'il y avait un problème et pendant tout le temps de la panne, je me suis rendu compte que la très grande majorité de mes outils étaient indisponibles : +```html +

Il m'a fallu seulement quelques petites minutes pour me rendre compte qu'il y +avait un problème et pendant tout le temps de la panne, je me suis rendu compte +que la très grande majorité de mes outils étaient indisponibles :

+``` -* Mes mails -* Mes calendriers -* Mon gestionnaire de tâches -* Mes contacts téléphoniques -* Mes fichiers et mes partages -* Mes dépôts pour mes projets -* Mon lecteur de flux RSS et mon instance Wallabag qui m'aide aussi à partager ma veille -* Des outils de monitoring -* Et encore d'autres services… +```html + +``` -C'est pénible mais ce n'est pas insurmontable quand on sait que rien n'est cassé et que c'est juste un problème de courant. Cette une grosse centralisation de données et services que j'aurais largement critiquée dans un autre contexte. Cependant, comme tout est hébergé à la maison, ça ne me pose véritablement aucun problème et il faut accepter des coupures de temps en temps. +```html +

C'est pénible mais ce n'est pas insurmontable quand on sait que rien n'est cassé +et que c'est juste un problème de courant. Cette une grosse centralisation de +données et services que j'aurais largement critiquée dans un autre contexte. +Cependant, comme tout est hébergé à la maison, ça ne me pose véritablement aucun +problème et il faut accepter des coupures de temps en temps.

+``` -Je crois que c'est une étape importante qui a été franchie avec la reprise en main de toutes les données numériques qui m'appartiennent qui et ne devraient pas stockées ailleurs. +```html +

Je crois que c'est une étape importante qui a été franchie avec la reprise en +main de toutes les données numériques qui m'appartiennent qui et ne devraient +pas stockées ailleurs.

+``` -=> https://upload.deblan.org/u/2020-01/5e348a49.jpg Not bad [IMG] +```html +

Not bad

+``` diff --git a/blog/posts/578.gmi b/blog/posts/578.gmi index 50eac89..8a7e871 100644 --- a/blog/posts/578.gmi +++ b/blog/posts/578.gmi @@ -3,32 +3,43 @@ * 2020-02-20 15:17:02 * Développement -Je travaille régulièrement sur des traitements de fichiers CSV. J'apprécie beaucoup ce format de fichier car il se génère et se lit facilement, qu'on soit informaticien ou non. J'ai d'ailleur écrit 2 librairies PHP pour lire, générer et valider des CSV : -=> https://gitnet.fr/deblan/csv deblan/csv -et -=> https://gitnet.fr/deblan/csv-validator deblan/csv-validator -. - -Lors des mes analyses, je me confronte parfois à des fichiers qui comportent beaucoup de colonnes et c'est un enfer d'utiliser un tableur pour visualiser et filtrer ces tableaux très larges. - -Après quelques recherches, j'ai découvert deux projets qui se complètent à merveille ! Le premier est un outil qui transforme un fichier CSV en une base de données SQLite : -=> https://pypi.org/project/csvs-to-sqlite/ csvs-to-sqlite -. Le second génère une interface web (avec un serveur web intégré) pour faire des requêtes SQL sur une base de données SQLite : -=> https://pypi.org/project/datasette/ datasette -. - -Ce sont des outils écrits en Python qui s'installent et s'utilisent en une poignée de secondes. - -```{.language-bash data-title="Installation"} -$ sudo pip3 install csvs-to-sqlite datasette +```html +

Je travaille régulièrement sur des traitements de fichiers CSV. +J'apprécie beaucoup ce format de fichier car il se génère et se lit +facilement, qu'on soit informaticien ou non. J'ai d'ailleur écrit 2 +librairies PHP pour lire, générer et valider des CSV : +deblan/csv et deblan/csv-validator.

``` -Pour illustrer, je vais traiter le fichier CSV de la base officielle des codes postaux disponible sur -=> https://www.data.gouv.fr/fr/datasets/base-officielle-des-codes-postaux/ data.gouv.fr -. +```html +

Lors des mes analyses, je me confronte parfois à des fichiers qui +comportent beaucoup de colonnes et c'est un enfer d'utiliser un tableur pour +visualiser et filtrer ces tableaux très larges.

+``` -```{.language-bash data-title="Installation"} -$ wget -O codes_postaux.csv https://datanova.legroupe.laposte.fr/explore/dataset/laposte_hexasmal/download/\?format\=csv\&timezone\=Europe/Berlin\&use_labels_for_header\=true +```html +

Après quelques recherches, j'ai découvert deux projets qui se complètent à merveille ! +Le premier est un outil qui transforme un fichier CSV en une base de données SQLite : csvs-to-sqlite. +Le second génère une interface web (avec un serveur web intégré) pour faire +des requêtes SQL sur une base de données SQLite : datasette.

+``` + +```html +

Ce sont des outils écrits en Python qui s'installent et s'utilisent en une poignée de secondes.

+``` + +```html +
$ sudo pip3 install csvs-to-sqlite datasette
+
+``` + +```html +

Pour illustrer, je vais traiter le fichier CSV de la base officielle des codes postaux +disponible sur data.gouv.fr.

+``` + +```html +
$ wget -O codes_postaux.csv https://datanova.legroupe.laposte.fr/explore/dataset/laposte_hexasmal/download/\?format\=csv\&timezone\=Europe/Berlin\&use_labels_for_header\=true
 $ csvs-to-sqlite -s ";" codes_postaux.csv codes_postaux.db
 $ datasette serve codes_postaux.db
 Serve! files=('codes_postaux.db',) (immutables=()) on port 8001
@@ -36,18 +47,31 @@ INFO:     Started server process [8550]
 INFO:     Waiting for application startup.
 INFO:     Application startup complete.
 INFO:     Uvicorn running on http://127.0.0.1:8001 (Press CTRL+C to quit)
+
``` -On peut maintenant accéder à -=> http://127.0.0.1:8001 -depuis un navigateur et commencer à analyer et traiter les données : +```html +

On peut maintenant accéder à http://127.0.0.1:8001 depuis un navigateur et commencer +à analyer et traiter les données :

+``` -=> https://upload.deblan.org/u/2020-02/5e4e93b5.png datasette [IMG] +```html +

datasette

+``` -Et le plus intéressant pour moi, c'est de pouvoir écrire des requêtes SQL affiner vraiment les données affichées : +```html +

Et le plus intéressant pour moi, c'est de pouvoir écrire des requêtes SQL affiner +vraiment les données affichées :

+``` -=> https://upload.deblan.org/u/2020-02/5e4e93c1.png datasette [IMG] +```html +

datasette

+``` -Enfin, on peut générer un nouveau fichier CSV (ou JSON) avec les données filtrées. +```html +

Enfin, on peut générer un nouveau fichier CSV (ou JSON) avec les données filtrées.

+``` -Simple, rapide et efficace ! +```html +

Simple, rapide et efficace !

+``` diff --git a/blog/posts/579.gmi b/blog/posts/579.gmi index a1be234..839bfc4 100644 --- a/blog/posts/579.gmi +++ b/blog/posts/579.gmi @@ -1,11 +1,14 @@ # Réseaux sociaux : flux à lier - #DATAGUEULE 95 -* 2020-02-26 08:31:51 +* 2020-02-26 08:31:00 * La toile, Quick links -> Ils sont attirants, attachants … et rapidement indispensables. Les réseaux sociaux nous appâtent à coup de likes et nous bercent dans leurs "infinite scroll". Et rapidement leurs interfaces nous poussent à la consommation jusqu’à l’overdose. Et ce n’est pas un hasard. Ils ont bâti leurs empires sur notre addiction à la dopamine. -> -> Retrouvez toutes les sources de l'épisode sur : -=> https://wiki.datagueule.tv/R%C3%A9seaux_:flux_%C3%A0_lier(EP.95) -=> https://wiki.datagueule.tv/R%C3%A9seaux_:flux_%C3%A0_lier(EP.95 -) +```html +
+

Ils sont attirants, attachants … et rapidement indispensables. Les réseaux sociaux nous appâtent à coup de likes et nous bercent dans leurs "infinite scroll". Et rapidement leurs interfaces nous poussent à la consommation jusqu’à l’overdose. Et ce n’est pas un hasard. Ils ont bâti leurs empires sur notre addiction à la dopamine.

+``` + +```html +

Retrouvez toutes les sources de l'épisode sur : https://wiki.datagueule.tv/Réseaux_:flux_à_lier(EP.95)

+
+``` diff --git a/blog/posts/580.gmi b/blog/posts/580.gmi index 26b69b5..ab36b3b 100644 --- a/blog/posts/580.gmi +++ b/blog/posts/580.gmi @@ -3,26 +3,47 @@ * 2020-03-25 02:00:56 * Développement -Il y a quelques semaines, nous avons acheté un terrarium pour le pogona de ma chère et tendre moitié. C'est un animal qui implique un environnement particulier avec des températures de jour et de nuit à ne pas dépasser, et une hygrométrie qui ne doit pas franchir le 50%. +```html +

Il y a quelques semaines, nous avons acheté un terrarium pour le pogona de ma chère +et tendre moitié. C'est un animal qui implique un environnement particulier avec +des températures de jour et de nuit à ne pas dépasser, et une hygrométrie +qui ne doit pas franchir le 50%.

+``` -On a installé un thermomètre et un hygromètre analogiques mais les valeurs ne sont pas précises à la lecture. Cela a été un bon prétexte pour jouer avec un Raspberry PI et entreprendre l'installation d'une sonde pour mesurer la température et l'hygrométrie. On a en profité pour ajouter une caméra infra-rouge. Nous pouvons donc avoir des alertes quand les seuils sont dépassés et il est possible de quitter l'appartement tout en gardant un œil sur le dinosaure 🦖 +```html +

On a installé un thermomètre et un hygromètre analogiques mais les valeurs ne sont +pas précises à la lecture. Cela a été un bon prétexte pour jouer avec un Raspberry PI +et entreprendre l'installation d'une sonde pour mesurer la température et l'hygrométrie. +On a en profité pour ajouter une caméra infra-rouge. Nous pouvons donc avoir +des alertes quand les seuils sont dépassés et il est possible de quitter l'appartement +tout en gardant un œil sur le dinosaure 🦖

+``` -Le Raspberry PI utilisé est le modèle 4 avec 2Go de RAM muni de Raspbian Lite. La vidéo s'appuie sur la -=> https://www.kubii.fr/cameras-accessoires/2333-raspberry-pi-camera-fisheye-grand-angle-5mp-kubii-3272496012561.html caméra fisheyes à vision nocturne -et le logiciel -=> https://motion-project.github.io/motion_config.html Motion -combiné au frontend -=> https://github.com/ccrisan/motioneye/wiki MotionEye -. Le capteur est un -=> https://www.kubii.fr/composants-raspberry-pi/2329-capteur-am2011-humidite-et-temperature-kubii-3272496012493.html AM2302 -et mesure la température et l'hygrométrie. +```html +

Le Raspberry PI utilisé est le modèle 4 avec 2Go de RAM muni de Raspbian Lite. +La vidéo s'appuie sur la caméra fisheyes à vision nocturne +et le logiciel Motion +combiné au frontend MotionEye. Le +capteur est un AM2302 +et mesure la température et l'hygrométrie.

+``` -=> https://upload.deblan.org/u/2020-03/5e7aa606.jpg [IMG] -=> https://upload.deblan.org/u/2020-03/5e7aa73f.jpg [IMG] +```html +

+``` -Le Raspberry PI est dédié pour faire les mesures et gérer la caméra. Les mesures sont envoyées vers une application web développée en PHP avec Symfony pour produire de jolis graphiques 📈. Des enregistrements vidéos sont également réalisés lorsqu'un mouvement est détecté. Les captures sont récupérés périodiquement vers l'application web afin qu'on puisse les consulter quand on veut 📽 +```html +

Le Raspberry PI est dédié pour faire les mesures et gérer la caméra. Les mesures sont +envoyées vers une application web développée en PHP avec Symfony pour produire +de jolis graphiques 📈. Des enregistrements +vidéos sont également réalisés lorsqu'un mouvement est détecté. Les captures +sont récupérés périodiquement vers l'application web afin qu'on puisse les consulter +quand on veut 📽

+``` -Le résultat est plutôt pas mal cool et on apprécie vraiment l'aide que ça apporte ! +```html +

Le résultat est plutôt pas mal cool et on apprécie vraiment l'aide que ça apporte !

+``` ```html