Quiz : Traiter du texte : grep, sed, awk, jq

b. uniq compare chaque ligne à la précédente, et à elle seule. Il faut trier d'abord : ... | sort | uniq -c, qui donne ici 96 CRON, 24 kernel:, 8000 python3, 59 sshd, 4 systemd. Ajoutez | sort -rn pour classer par effectif. Leçon 1.

sort -k2 place y 2 a en premier, sort -k2,2 place x 2 b en premier. -k2 désigne une clé qui commence au deuxième champ et va jusqu'à la fin de la ligne : on compare 2 b et 2 a. -k2,2 s'arrête à la fin du deuxième champ : les deux clés valent 2, et sort départage alors par la comparaison de la ligne entière, en dernier recours (-s désactive ce dernier recours et garde l'ordre d'arrivée). Écrivez toujours la fin de la clé. Leçon 1.

b. Le shell prépare la redirection avant de lancer sort : il ouvre liste.txt en écriture et le tronque. sort lit ensuite un fichier vide. sort -o liste.txt liste.txt est la forme sûre : sort lit toute son entrée avant d'ouvrir le fichier de sortie. Le même piège vaut pour jq (question 25) et pour toute commande. Leçon 1.

Rien n'a mal tourné. head se termine après une ligne et ferme le tube ; à sa prochaine écriture, yes reçoit le signal SIGPIPE et meurt. 141 vaut 128 + 13, le numéro de SIGPIPE. Sans pipefail, le code du tube est celui de head (0) ; avec pipefail, c'est celui de la dernière commande en échec, ici yes (PIPESTATUS vaut 141 0). Un script qui interrompt volontairement la lecture d'un flux doit tolérer ce code pour la commande en amont. Leçon 1.

503 apparaît aussi ailleurs dans la ligne : dans les microsecondes de l'horodatage (.250349), dans le numéro d'un processus sshd (sshd[55036]), dans un identifiant de signalement (/signalements/11503). grep cherche une sous-chaîne, pas un champ. On ancre le motif sur ce qui entoure le code dans ce format : grep -c ' 503 -$' syslog.log répond 101. Plus robuste encore, on teste le champ lui-même avec awk ($3 ~ /^python3\[/ && $12 == 503). Leçon 2.

b. grep renvoie 0 s'il a trouvé, 1 s'il n'a rien trouvé, 2 en cas d'erreur. Il affiche bien 0, mais son code 1 devient le code de l'affectation, et set -e arrête le script. « Rien trouvé » n'est pas une erreur ici : n=$(grep -c 'Invalid user' "$journal") || true garde le 0 et laisse passer, tout en perdant la distinction avec le code 2, qu'il faut alors tester explicitement si elle compte. Leçon 2.

b. En BRE, le groupement et l'alternance s'écrivent \(, \| et \) (le \| est une extension GNU). grep -E '2026-10-07T14:(0[2-9]|1[0-9])' trouve les 150 lignes. Retenez les deux familles de POSIX et choisissez-en une par habitude, en général -E. Leçon 2.

GNU grep juge un fichier binaire quand il y trouve un octet nul (ou des octets invalides dans l'encodage de la locale). Pour ne pas inonder le terminal, il remplace alors les lignes trouvées par ce message, envoyé sur la sortie d'erreur depuis grep 3.5, et renvoie quand même 0. grep -a (--binary-files=text) traite le fichier comme du texte. Sur des données hostiles, gardez en tête que -a peut envoyer des séquences de contrôle au terminal ; cat -v les rend visibles. Leçon 2.

Un intervalle d'adresses début,fin commence à la première ligne qui correspond à début et s'arrête à la première ligne suivante qui correspond à fin. Aucune ligne n'est horodatée exactement 14:19:59 : la borne de fin n'est jamais atteinte, et l'intervalle court jusqu'à la dernière ligne, sans erreur. Choisissez une borne de fin qui existe forcément (/^2026-10-07T14:2/, première ligne après 14:19), ou filtrez sur la valeur elle-même avec une expression régulière ou awk. Leçon 3.

b. Dans le remplacement de s, & désigne tout le texte trouvé. Une valeur insérée dans un remplacement doit être protégée : \ d'abord, puis &, le délimiteur et les sauts de ligne. Avec equipe='a/b', la commande casse (unknown option to 's') ; avec une valeur choisie par un tiers, elle peut être détournée. Mieux vaut encore refuser les valeurs hors d'une liste blanche. Leçon 3.

b. sed -i écrit un fichier temporaire dans le même répertoire puis le renomme sur le nom donné : c'est un nouveau fichier, avec un nouvel inode, qui prend la place du lien. Le dépôt ne voit plus jamais les modifications, et un lien physique vers l'ancien fichier garde l'ancien contenu. GNU sed propose --follow-symlinks ; regler-conf résout le lien lui-même avant d'écrire. Leçon 4.

Deux lignes delai_lecture = 15 : la commande a ajoute une ligne à chaque exécution, elle n'est pas idempotente. Selon le logiciel, la seconde valeur l'emporte, la première, ou le fichier est refusé. Une modification de configuration doit d'abord regarder l'état du fichier : remplacer la clé si elle existe dans la section, l'ajouter seulement sinon, puis vérifier qu'un second passage ne change rien (ni contenu, ni date de modification). C'est ce que fait regler-conf. Leçon 4.

Elle désactive les commandes e (exécuter une commande du shell), r (lire un fichier) et w (écrire un fichier), ainsi que les drapeaux équivalents de s : sed refuse le script avec e/r/w commands disabled in sandbox mode et le code 1. On l'utilise dès qu'une partie du script sed vient de données (une valeur insérée, une ligne d'un fichier) : si une injection réussit malgré les protections, elle ne peut au moins ni lancer de commande ni écrire ailleurs. anonymiser-journal lance sed ainsi. Leçons 3 et 4.

b. Deux expressions côte à côte sont concaténées. La virgule sépare les arguments de print, qui les écrit séparés par OFS (une espace par défaut). Leçon 5.

awk compare numériquement seulement si les deux opérandes sont des nombres ou des chaînes numériques (des données qui ont l'air de nombres). Sur une ligne du noyau, le douzième champ vaut TOS=0x00 : la comparaison devient textuelle, et "TOS=0x00" > "499" est vrai dans l'ordre des caractères. Forcer le nombre avec + 0 supprime cet effet ("TOS=0x00" + 0 vaut 0), mais le douzième champ de la plupart des lignes sshd est un numéro de port, supérieur à 499 : il reste 107 lignes de l'API et 32 de sshd. Il faut d'abord sélectionner les bonnes lignes, puis tester le champ : $3 ~ /^python3\[[0-9]+\]:$/ && $12 >= 500. Leçon 5.

b. -F, découpe sur chaque virgule, sans rien savoir des guillemets du CSV (RFC 4180). La commune est coupée en deux, la date devient le cinquième champ, et tous les comptes par commune sont faux sans erreur visible. Il faut un vrai lecteur de CSV : la fonction csv_champs en awk POSIX, FPAT ou --csv (gawk 5.3 et plus, absent de Debian 13 et Ubuntu 24.04), Miller ou le module csv de Python. Leçon 6.

b. Lire un élément d'un tableau awk le crée, avec la valeur vide. Le test par comparaison fausse donc les comptes (length, boucles for (k in t)) et consomme de la mémoire. Pour savoir si une clé existe, utilisez (cle in t). Leçon 6.

awk n'est pas le même programme sur les deux machines : gawk sur les images cloud d'Ubuntu comme sig-app-1, mawk sur une Debian minimale comme sig-outils. PROCINFO["sorted_in"] est une extension de gawk ; pour mawk, PROCINFO n'est qu'un tableau ordinaire, que personne ne lit, d'où l'absence d'erreur. L'ordre de for (k in t) n'étant garanti par aucune implémentation, la solution portable est d'envoyer les lignes à sort (print ... | "LC_ALL=C sort", puis close()). Leçons 5 et 6.

b. mawk suit la catégorie LC_NUMERIC de la locale pour écrire (et lire) les nombres décimaux, comme le demande POSIX : la virgule française apparaît, et un programme qui relit ce rapport, ou un tableau Markdown comparé à une référence, ne s'y retrouve plus. gawk, lui, garde le point par défaut. Un script qui produit des données pour une machine fixe sa locale : export LC_ALL=C.UTF-8. Leçons 1 et 5.

La valeur de la variable du shell devient du code awk : un guillemet dans hote casse le programme, et une valeur choisie par un tiers peut y ajouter des instructions, jusqu'à system("..."), qui lance une commande du shell. On passe les données comme des données : awk -v hote="$hote" '$1 == hote { n++ } END { print n + 0 }', ou par l'environnement (ENVIRON["HOTE"]) quand la valeur peut contenir des barres obliques inverses, que -v interprète. Leçon 5.

b. jq produit par défaut des valeurs JSON, donc des chaînes entre guillemets. -r (raw output) écrit les chaînes brutes, ce que l'on veut pour les passer au shell. Leçon 7.

Accéder à une clé ou à un indice absents donne null, sans erreur. Avec -r, null devient la chaîne null : le script tente ssh null, ou écrit null dans un rapport, et le code 0 ne dit rien. -e fait renvoyer à jq le code 1 quand la dernière sortie est null ou false (jq -e '.[0].ipv6.address' sort avec 1). On peut aussi fournir une valeur de repli explicite (// "aucune") ou filtrer avec select(. != null). Leçon 7.

b. jq compare sans conversion implicite : une chaîne n'est jamais égale à un nombre. --argjson s 503 passe la valeur comme du JSON, donc un nombre, et la commande trouve les 101 lignes. Autre solution : ($s | tonumber) dans le filtre. Leçon 7.

Le guillemet n'est pas échappé : le texte produit n'est plus du JSON valide (jq le refuse avec parse error, code 5), ou pire, un champ choisi par un tiers peut fermer la chaîne et ajouter ses propres clés. On laisse jq produire le JSON, en lui passant les valeurs comme des arguments : jq -n --arg commune "$commune" '{commune: $commune}', qui donne {"commune":"Saint-\"Témoin\""}. Même règle pour tout JSON produit par un script : --arg, --argjson, --rawfile, --slurpfile, jamais de concaténation. Leçon 8.

Le fichier est vide : comme pour sort (question 3), le shell tronque serveurs.json avant de lancer jq, qui lit un fichier vide, ne produit rien et réussit. On écrit dans un fichier temporaire du même répertoire, puis on le renomme seulement si jq a réussi (jq ... serveurs.json > serveurs.json.tmp && mv serveurs.json.tmp serveurs.json), ou l'on passe par sponge de moreutils. Leçon 8.