Merci à Clémentine Lecocq pour sa relecture technique et linguistique.

Merci à l'équipe de développement de Landslide: site.

Merci à Gee et Xkcd pour leurs BD.

Crédits image

• Question

• Dessin crontab

• Merci aux autres personnes pour leurs images.

Johann Lecocq, libriste convaincu :D

Développeur C, Python, Java, ...

Site: johann-lecocq.fr

Utilise Linux depuis 2009.

Développement et administration système sur temps libre.

Distributions utilisées:

• Ubuntu 9.04 & Xubuntu
• Debian 7
• ArchLinux (Rolling release)
• CentOS 6.X
• Raspbian 7
• Knoppix

• GNU est un système.
• Linux est seulement un noyau.

GNU/Linux est donc l'ensemble des deux.

Dans la suite, j'utilise Linux mais je pense bien GNU/Linux.

1ère génération (1945-1955) : tubes à vide et cartes enfichables.

• Programmation en langage machine et fonctionnement par réservation du temps de calcul.
• Absence de véritable SE.

2nde génération (1955-1965) : transistors et traitement par lots.

• Regroupement des travaux, traitements via un opérateur et lecteur de bandes.
• 1er langage de programmation (Fortran).

3ème génération(1965-1980) : circuits intégrés et multiprogrammation.

• Jusqu'alors, un ordinateur = un SE. Maintenant, un SE pour différents ordinateurs.
• Partitionnement de la mémoire (plusieurs tâches partagent la mémoire).
  • Multiprogrammation
• Apparition d'Unix (simplification de MULTICS des laboratoires Bell).

4ème génération (1980-...) : ordinateurs personnels

• MS-DOS (étendu en Windows) -> machine Intel.
• Unix : station de travail et machine non-Intel.
• Linux (système Unix) pouvant fonctionner sur une machine Intel.

• Système d'exploitation créé en 1969 par Ken Thompson

• Multitâche et multi-utilisateur

• OS basé sur le noyau UNIX: BSD, GNU/Linux, macOS

• Marque déposée

• Créé en 1983 par Richard Stallman
• Comme UNIX mais entièrement libre
• Constitué de différents logiciel libre
• Il a besoin d'un noyau pour fonctionner: Linux ou Hurd par exemple

• Créé en 1991 par Linus Torvalds en langage C/ASM
• Linux est un noyau monolithique modulaire (Kernel) et non un OS
• Respecte la norme POSIX
• Gère les ressources de l'ordinateur et la communication logiciel-matériel
• Minix (micro-noyau) créé par Andrew Tanenbaum participe indirectement à sa naissance

• Arborescence standard
• Installation standard, facile de trouver l'install
• Programmes compatibles entre distributions
• Gestionnaire de package
• Stabilité dans le temps
• Logiciel de base
• Le shell
• Les services (pas besoin de wrapper sauf si capture de signaux)

• Programmes Windows incompatibles (Au revoir Office, bonjour LibreOffice)
• Les versions des librairies systèmes (sous Debian par exemple)
• L'apprentissage est raide au début
• Une autre philosophie
• La violence de certaines commandes (rm par exemple)

Mon retour:

• Satisfait depuis très longtemps
• Il y a un équivalent libre pour chaque logiciel propriétaire
• Excellent pour le développement et moins prise de tête
• Apprentissage raide au début, j'apprends encore
• On peut tout faire

Chez Moi:

• GNU/Linux comme système d'exploitation principale
• 4 serveurs sous Archlinux
• 1 fixe + 2 portables sous Archlinux

La route est longue, mais tellement plus belle.

• La casse est respectée : Toto et toto ne sont pas les mêmes fichiers

• Caractères interdits : /, ? et *

• Caractère \n : possible de le mettre mais à éviter

• L'extension n'est pas obligatoire : toto, .local, ...

• Les fichiers avec un point comme premier caractère sont cachés

• La racine de l'arborescence est / et non une lettre

• Sous Linux, tout est fichier; par exemple :

  • fichier standard
  • dossier
  • périphérique
  • tube
  • lien symbolique

• . représente le répertoire courant

• .. représente le répertoire parent

Petit descriptif de certains répertoires (plus d'info ici).

Ma clé usb avec l'étiquette Avril collée dessus est représentée par le fichier /dev/sdd

Elle est montée dans le répertoire /run/media/johann/AVRIL

Voici quelques types de fichiers:

• fichier (-)
• dossier (d)
• lien symbolique (l)

C'est le premier caractère lors d'un ls -l qui donnera le type de fichier par exemple. Il est possible d'écrire et de lire dans tous les fichiers

• root sait tout faire

• root peut tout faire

• root est méchant

• Son home est /root

C'est l'utilisateur de base du système, c'est le maître ultime du système.

Il ne faut jamais faire une commande avec Root, sauf si on maitrise la chose !

Les permissions se divisent en 3 blocs :

• user
• group
• other

Il y a 3 types de droits :

• read (vaut 4), si répertoire alors donne droit de lister les fichiers
• write (vaut 2)
• execute (vaut 1), si répertoire alors donne droit l'accès en ouverture

Par exemple : rwxrw---- equivaut à 760

• L'utilisateur a tous les droits
• Ceux du groupe de lire et écrire dedans
• Et les autres rien

Supposons que nous sommes l'utilisateur johann

• J'ai accès en lecture au répertoire /home, de même pour /
• Je n'ai aucun accès à /home/applicationuser

Imaginons que j'ai un fichier /home/test/toto.txt qui a comme permissions :

-rw-r--r--

Dans ce cas, comme j'ai accès en exécution sur le répertoire /home/test, je peux afficher le contenu de toto.txt.

• r -> 4
• w -> 2
• x -> 1

Si je veux mettre :

• Tous les droits pour moi : rwx -> 4+2+1 = 7
• Lecture/écriture pour le groupe : rw- -> 4+2+0 = 6
• Rien pour les autres : --- -> 0+0+0 = 0

Cela donne 760 et donc :

chmod 760 toto.txt

C'est bien mais il faut calculer le total à chaque fois !

J'ai ça maintenant :

-rwxr-xr-x 3 johann users 4096 2 juin 2016 toto.txt

Si je veux mettre :

• Tous les droits pour moi : rwx -> ça change rien
• Lecture/écriture pour le groupe -> g+w-x
• Rien pour les autres : --- -> o-rx

Ça nous donne :

chmod g+w-x,o-rx toto.txt

Appliqué à un répertoire, seul :

• Le propriétaire du fichier
• Le propriétaire du répertoire

ont le droit d'effacer les fichiers.

Exemple : le répertoire /tmp

Tout le monde peut écrire à l'intérieur mais seul moi et root pouvons supprimer mes fichiers.

Correspond à 1 en valeur octal

C'est un programme en cours d'exécution, il est constitué :

• d'un programme exécutable
• pile d'exécution
• pointeur de pile
• ...

Chaque processus hérite d'un père, sauf le processus init, son PID est 1.

Chaque processus a un PID unique.

Ils sont créés via un fork sous UNIX, le fils est créé et le père continue.

MS-DOS charge un processus via un appel système et bloque père en attendant la mort du fils.

Pour plus d'informations: voir Système d'Exploitation Centralisés.

Interpréteur de commandes pour les UNIX et type UNIX.

Le premier shell est le Bourne shell ou bsh ou sh.

Le Bash (Bourne-Again shell) est le shell UNIX du projet GNU.

C'est le shell par défaut des UNIX libres.

• Z shell (zsh)
• C shell (csh)
• KornShell (ksh)

Chacun a sa petite touche.

Le Sh et Bsh restent standard.

Plusieurs fichiers sont chargés au démarrage d'un shell :

/etc/profile

Chargé pour n'importe quel shell

/etc/bash.bashrc

Chargé pour n'importe quel utilisateur

~/.bashrc

Chargé pour un utilisateur lorsqu'il démarre un shell

• Les arguments passés en paramètre respectent la casse, voici deux commandes différentes :

  • ls -n
  • ls -N

• On peut fusionner les arguments simples, la même commande :

  • ls -lah
  • ls -l -a -h

• Un argument complexe :

  • ls --human-readable

Chaque programme retourne un code d'erreur entre 0 et 255.

Par convention, le 0 signifie un succès de la commande.

echo renvoie toujours 0.

Le code de retour se trouve dans la variable spéciale $?

Attention : le résultat de la commande est différent du code de retour.

• La plupart des commandes sont des programmes externes au shell.

• cd est une commande interne au shell.

• Une commande sera un processus fils, elle va donc démarrer dans le dossier courant au shell.

exit

Quitte le shell en cours.

cd

Change de répertoire, il peut être absolu ou relatif.

ls

Liste le contenu d'un répertoire.

• l : ajoute les droits, les propriétaires, la taille.
• a : affiche les fichiers cachés.

mkdir

Créer un répertoire.

touch

Créer un fichier vide.

cat

Affiche le contenu d'un fichier.

rm

Suppression d'un fichier, attention au -Rf, il n'y a pas de corbeille en ligne de commande.

about, apropos

Trouve un programme ou une commande via des mots-clefs.

kill

Tuer un processus.

ln

Creation de lien.

man

Le plus important, consulter les manpages.

• La doc ne manque pas, par contre elle est potentiellement raide !

• Elle est souvent en anglais :/

• Souvent traduite toutes les langues dans les manpages.

• La doc est dans les manpages, les sites et magazine.

Le guide de survie - Linux

de Scott Granneman, edition PEARSON, ISBN: 9782744021251

GNU/Linux magazine (ici)

Mensuel, avec code source sur le net

• Léa Linux

• Wiki Ubuntu

• Wiki Archlinux

Ou comment consulter une doc horrible et complète.

• man ls donne la doc de la commande ls :

Ici nous avons les différents codes de retour du ls.

Permet d'avoir une image des processus avec diverses informations.

On voit clairement les PID, la RAM, le CPU, la ligne de commande,...

Tuer un processus

• On envoie un signal SIGINT (Ctrl+C)

Passer un processus en arrière-plan comme &

• On envoie le signal de mise en pause (Ctrl+Z)
• On exécute la commande bg

Passer au premier plan le dernier processus en arrière-plan

• on exécute la commande fg

Voir la liste des processus au premier ou arrière-plan

• on exécute la commande jobs

Sous UNIX, il y en a 3 d'ouvert automatiquement pour chaque processus :

1. stdin: entrée standard (clavier de base)
2. stdout: sortie standard (console de base)
3. stderr: sortie d'erreur standard (console de base)

Les programmes peuvent changer ceux-ci.

Quand le shell démarre un programme, il fait un fork.

Il peut remplacer les descripteurs de fichiers (stdin,...) par un autre.

C'est le cas pour les pipes.

L'entrée standard du deuxième processus correspond à la sortie standard du premier.

wc permet de compter tout et n'importe quoi :

• bytes
• caractères
• lignes
• mots
• ...

Nous avons vu quelques commandes utiles sur la manipulation du texte.

En voici d'autres :

• tr
• sed

Comment faire des traitements plus lourds avec ou sans expression régulière ?

La seule réponse: Perl, il est surpuissant sur la manipulation de texte avec des regex.

Je n'ai rien contre Java mais il n'est pas fait pour ce type de traitement.

Chacun son métier, les vaches seront bien gardées.

$#

Donne le nombre de paramètres

$* et $@

Donne tous les paramètres

$1, $2, ..., $9

Variable de position

• $0 : nom du script
• $1 : premier paramètre
• $2 : deuxième paramètre

Visibilité des 9 premiers paramètres seulement.

Utiliser shift pour supprimer le premier paramètre et décaler les autres à gauche.

Dans les différents tests :

• si la condition vaut 0 alors VRAI
• si la condition est différent de 0 alors FAUX

Voici les différentes structures de contrôle:

• if
• for
• while
• switch

Cette commande permet d'avoir les droits root le temps d'une commande.

Seulement certains utilisateurs autorisés peuvent avoir accès à cette commande.

Les systèmes de fichiers pris en charge

Nativement:

• ext3
• ext4
• Btrfs

Via des outils externes:

• fat32
• ntfs

Les espaces d'échanges

• swap

Il existe différents outils pour les partitions.

En ligne de commande:

• fdisk/gdisk
• parted

Graphique:

• gparted

Il suffit de taper la commande fdisk -l pour visualiser le partitionnement des différents disques.

Il donne en plus les points de montage.

Les disques ou systèmes de fichiers sont montés dans un dossier. Le dossier représente (dans un certain sens) la partition sous forme familière.

Ils sont configurés dans le fichier /etc/fstab.

Il est lu au démarrage du système.

Il est cependant possible de monter une clé usb ou autre manuellement avec la commande mount.

Elles peuvent se faire de différentes manières :

• automatique :

  • via les repos
  • via un .deb, tar.gz

• semi-automatique :

  • téléchargement des sources + compilation + installation auto

• manuelle :

  • avec ou sans compilation

C'est un logiciel qui automatise l'installation, désinstallation d'un paquet.

Il en existe plusieurs:

• Apt pour Debian et Ubuntu
• Rpm et Yum pour Red Hat, Centos, ...
• Pacman et Yaourt pour Archlinux

Il permet aussi de se connecter à un dépôt de paquets qui contient les programmes, mais aussi d'effectuer la résolution de dépendances.

Par exemple :

Le paquet GitKraken a besoin du paquet OpenSSL 1.0.

Les systèmes sont installés avec un minimum de programmes.

Les binaires sont référencés dans des dépôts.

Souvent une distribution a un dépôt officel et non officiel, mais il est possible d'en ajouter d'autres.

Ce sont dans ces dépôts que Pacman va chercher le logiciel et ses dépendances à installer.

En installant via les repos, nous avons les certitudes suivantes :

• mise à jour automatique
• installation correcte
• configuration de base
• résolution des dépendances lors de l'installation

Processus exécuté en arrière-plan mais qui n'est pas sous le contrôle direct de l'utilisateur.

L'équivalent sous Windows est un service.

Il est possible d'effectuer certaines opérations:

• démarrer
• stopper
• redémarrer
• recharger
• voir son état

Héritage des systèmes UNIX, ce sont différents niveaux de fonctionnement. La commande init active les processus associés au niveau correspondant.

De base sous Debian (par exemple), le run-level par défaut est 2.

• Les daemons sont initialisés par le processus init via des scripts shell.

• Aucune gestion de dépendance entre les différents daemon.

• Gestion manuelles via les runlevels et certaines astuces.

• Plusieurs appels et enchainement de commandes, lourd à exécuter.

• Souvent long et indigeste.

• Conçu pour le noyau Linux comme alternative à System V.
• Ecrit en Python et C.
• Gestion des dépendances entre services.
• Quasiment plus d'appel au script shell.
• Permet un meilleur suivi des démons via les cgroups.
• Ne respecte pas le principe KISS.

Distribution l'ayant adopté

• Red Hat depuis la version 7
• Fedora depuis la version 15
• Debian depuis Jessie (version 8)
• Ubuntu depuis Vivid Vervet(version 15.04)
• ArchLinux depuis octobre 2012

Cela peut être:

• service(*.service)

• target(*.target)

• montage(*.mount)

• socket(*.socket)

Un target regroupe plusieurs autres unités.

Service installé automatiquement via les packages

Les fichiers de configuration sont dans:

/usr/lib/systemd/system

Service installé manuellement

Les fichiers de configuration sont dans:

/etc/systemd/system

Cela évite l'écrasement de ceux-ci lors d'une mise à jour.

• SystemD (wiki Archlinux)

C'est un programme qui permet aux utilisateurs des systèmes Unix d’exécuter automatiquement des commandes à une date et une heure spécifiées à l’avance.

La crontab est soit associé a un utilisateur, soit lancé par root via l'utilisateur.

Avant d'être mise à jour, la crontab est vérifiée.

Exemple de crontab:

Commande:

• affiche la crontab: crontab -l
• editer la crontab: crontab -e

Il existe aussi des raccourcis tel que @Hourly, @Monthly, ...

free

Permet de connaitre la RAM utilisée et totale

Ici 145Mo utilisé sur 500Mo.

du

Imprime la taille des fichiers Dans notre exemple:

• -h pour convertir en bonne unité lisible
• -c pour avoir un total
• -d 1 pour une profondeur de 1 dossier

ps

Permet d'avoir les processus en cours sur la machine

ifconfig

Connaitre les informations de l'interface réseau.

SSH

Permet d'ouvrir un shell sécurisé (sur SSL) sur une machine distante.

SCP

Permet de transférer des fichiers de facon sécurise sur une machine distante.

Administration système

Consiste à gérer le système en lui même mais aussi les différents service et logiciels d'un serveur.

Programmation système

Consiste à créer des programmes au niveau du système.

Mais s'intérresse plus au problème tel que:

• la gestion des ressources
• protocoles
• ...

Et non au traitement des données comme la programmation des applications.

Les programmes créés sont dépendants du système et non multi-plateforme.

Mais ils permettent d'exploiter toute la puissance du système.

Concept

Le serveur c'est le nerf de la guerre.

Il faut déployer vite et à grande échelle.

Il ne suffit pas d'installer des services pour que cela fonctionne au petit bonheur la chance.

Les logs se remplissent, les données s'accumulent, des erreurs critiques ou non surgissent.

L'administration système permet de voir ceci.

Prix ?

Cela coute beaucoup de temps mais permet en cas de problème de réagir au quart de tour.

Alors au final ?

Developper c'est gagner du temps !

Le développeur doit etre une feignasse: en faire peu, mais le faire bien !

Le grand débat ! Faut-il s'abstraire au système ou s'imbriquer dedans ?

L'abstraction, c'est bien mais on pert les notions fondamentales:

• les pointeurs
• l'allocation mémoire
• la gestion des ressources (fichiers, tube, socket, ...)

Ce sont des concepts clef qui peuvent être tres différents d'un système à l'autre.

Sous UNIX, il est possible d'avoir d'autre mode inter-processus que les connexions réseaux:

• mémoire partagée
• socket
• tube nommés.

Attention, il faut savoir synchroniser ce petit monde à l'aide de mutex et sémaphores, par exemple.

Il n'y a pas 36 solutions.

Il faut connaitre et maitriser un minimum le système.

Il faut en apprendre d'avantage.

Pour la programmation système, il faut s'orienter sur les Système d'Exploitation Centralisés de la famille UNIX.

Il y a de très bonnes documentations disponibles.

La supériorité de C et Python face à Java & Co

Un peu de troll pour la fin.

C

Langage de référence pour la programmation système.

Les bibliothèques sont nombreuses pour effectuer des forks, la mémoire partagée, ...

Python

Très bon pour l'administration système, mais aussi pour des appels très bas niveau.

Par exemple il permet la capture de signaux, il est aussi très léger et rapide.

Au revoir Java

Java est très bon pour la programmation normale, mais exécrable pour la Programmation système (ce n'est que mon avis).

Il est si abstrait pour sa compatibilité multi-plateforme, que l'on pert certaines fonctionnalités de vue.