MyFacebookSpace

Drupal 6.x et AWS

david — Tue, 07 Apr 2009 11:48:00 +0200

Hello après plusieurs mois de silence et de travail intensif sur drupal et les outils amazon pour un nouveau grand projet, voici en guise de récompense pour cette longue attente un module permettant l'integration de la librairie Tarzan a Drupal.

Et aussi un changement de theme de photo, ici une sculpture de sable sur une plage barcelonaise.

Je vais completer ce post afin de détailler un peu plus tout ça mais en attendant voici le zip du module :

creeper.zip

Il devrait bientot avoir sa propre section sur le site drupal.org

Tomcat 6 avec l'apache portable runtime

david — Fri, 02 May 2008 21:21:00 +0200

Installer Tomcat 6 est couvert dans de nombreux tutoriaux.

Dans ce post, je vais couvrir l'installation de tomcat 6 avec l'Apache Portable Runtime, ce qui permet au serveur tomcat d'utiliser des librairies natives pour gérer le SSL ou pour servir des fichiers statiques par exemple.

Une installation de ce type est très intéressante pour installer un serveur d'authentification CAS (un futur post dessus va voir le jour prochainement sur mon blog :p), car CAS ne sert que des pages dynamiques en SSL (donc le gain en performance est très significatif si CAS tourne avec l'APR)

Pré-requis : installation du jdk 1.6 (et positionnement de la fameuse variable d'environement JAVA_HOME), des outils de compilation unix (gcc, g++),des building tools unix classiques (autoconf, automake, etc..) et il faut aussi avoir les headers de la librairie OpenSSL pour pouvoir compiler une application utilisant openssl (package libssl-dev sous ubuntu 8.04)

Les étapes :

- il va falloir compiler l'APR afin d'être sur du bon fonctionnement final de tomcat 6 avec jsvc (les packages tout fait sont souvent compilés avec de mauvaises options et provoquent un démarrage du serveur tomcat 6 anormalement long, comme nous le verrons plus loin).

- Générer des certificats pour le bon fonctionnement de tomcat en mode ssl

- Configurer tomcat

- Créer un utilisateur sous lequel le processus s'exécutera ainsi que des scripts de démarrage automatiques.

Le nécessaire :

- tomcat 6.0.16 (ou supérieur)

- apr sources 1.2.12

1) Compilation de l'APR pour Tomcat 6 :

Nous allons installer toutes les librairies et placer tous les header nécessaires à la compilation d'autres outils utilisants ces librairies dans /opt/apr-tomcat-6.

Il faut tout d'abord décompresser l'archive

tar xvzf apr-1.2.12.tar.gz

- Créer le répertoire qui va contenir les librairies que nous allons compiler

sudo mkdir /opt/apr-tomcat-6

- Se placer dans le répertoire contenant ce que nous avons décompresser et lancer la configuration suivante :

./configure --prefix=/opt/apr-tomcat-6/ --with-devrandom=/dev/urandom

puis

sudo make

et enfin

sudo make instal

l'option --with-devrandom est très importante : par défaut apr utilise /dev/random, et c'est ce qui provoque un démarrage lent du serveur lorsqu'il utilise SSL : le système met du temps a générer de l'entropie avec /dev/random.

C'est pour cette raison que nous n'avons pas pu utiliser le package libapr de la distribution, mais ce n'est pas génant car la vocation de l'APR c'est d'être compilé spécialement pour l'outil dans lequel il doit être embarqué, comme expliqué sur le site officiel du projet :

As of this writing, APR is not quite ready to be installed as a system-wide shared library; it currently works best when tied directly to the application using it.

2) Installation de tomcat

Se placer dans le répertoire /opt et détarrer l'archive de tomcat 6.0.16

sudo tar xvzf apache-tomcat-6.0.16.tar.gz

- Vous devriez avoir un répertoire /opt/apache-tomcat-6.0.16

- Pour des soucis de maintenabilité de scripts pour démarrer / stopper tomcat, nous allons créer un lien symbolique /opt/tomcat qui pointera vers /opt/apache-tomcat-6.0.16

ln -s /opt/apache-tomcat-6.0.16 /opt/tomcat

- Se rendre dans le répertoire /opt/tomcat/bin

- Nous allons compiler les wrappers JNI pour tomcat utilisants la librairie APR spécialement compilée pour le serveur à l'étape précédente :

sudo tar xvzf tomcat-native.tar.gz
cd tomcat-native-1.1.12-src/jni/native

sudo ./configure --with-apr=/opt/apr-tomcat-6 --with-java-home=/usr/lib/jvm/java-6-sun --with-ssl=yes

puis

sudo make

sudo make install

Maintenant nous allons installer l'outil jsvc (aussi inclus dans la distribution de tomcat 6).

Cet outil permet de démarrer tomcat 6 en tant que démon et de pouvoir par exemple démarrer tomcat sur le port 80 et de switcher d'utilisateur une fois le processus démarré.

- Nous allons nous replacer dans /opt/tomcat/bin et executer :

sudo tar xvzf jsvc.tar.gz
cd jsvc-src/
sudo chmod u+x configure
sudo ./configure --with-java=/usr/lib/jvm/java-6-sun
sudo make

L'outil est compilé et disponible dans /opt/tomcat/bin/jsvc-src/.

Si votre tomcat est destiné à un environnement de production, vous pouvez aussi modifier le fichier /opt/tomcat/conf/web.xml pour ajouter :

        <init-param>
            <param-name>development</param-name>
            <param-value>false</param-value>
        </init-param>
       <init-param>
            <param-name>genStringAsCharArray</param-name>
            <param-value>true</param-value>
        </init-param>
        <init-param>
            <param-name>trimSpaces</param-name>
            <param-value>true</param-value>
        </init-param>

A la liste des init-param de la servlet Jasper (org.apache.jasper.servlet.JspServlet).

Il faudra dans ce cas déployer des webapps ayant précompilées les JSPs.

Mais pas de panique si tout ceci ne vous semble pas très clair car c'est détaillé ici.

3) Les certificats pour le mode SSL de tomcat :

Pour fonctionner en mode SSL, tomcat va avoir besoin de certificats.

Pour ce faire nous allons générer des certificats auto-signés par des certificats émulant ceux d'une autorité certificatrice (comme expliqué dans un précédent post sur openssl)

- Tous les certificats que nous allons créer pour tomcat vont se trouver dans un répertoire /opt/tomcat-certificats

mkdir /opt/tomcat-certificats

cd /opt/tomcat-certificats

- Générer la clée

sudo openssl genrsa -out tomcat-key.pem 1024

- il faut ensuite créer une requete de signature :

sudo openssl req -new -out tomcat-req.csr -key tomcat-key.pem

- Et signer cette requête à l'aide de nos certificats racine :

sudo openssl ca -policy policy_anything -out tomcat-cert.pem -infiles tomcat-req.csr

- Vérification du certificat :

sudo openssl verify -CAfile /opt/root-certificats/cacert.pem -purpose sslserver tomcat-cert.pem

-Mise a jour des droits sur le répertoire contenant les certificats pour l'utilisateur tomcat :

sudo chown -R tomcat:tomcat /opt/tomcat-certificats

4) Configuration du serveur tomcat :

- Editer le fichier /opt/tomcat/conf/server.xml et remplacer le connecteur par défaut sur le port 8080 par celui-ci

Et ajouter juste après le connecteur pour la connection en HTTPS :

4) Scripts de démarrages et tweaking avancé du serveur

Pour que votre serveur tomcat puisse supporter une très grande charge (300 requêtes / secondes) , vous serez sûrement amenés à augmenter le nombre maximum de "file descriptor" pouvant etre ouverts simultanément.

Pour ce faire éditez le fichier /etc/security/limits.conf pour y ajouter à la fin les 2 lignes suivantes :

tomcat soft nofile 4096

tomcat hard nofile 4096

sauvez et rebootez la machine.

Par la suite dans tout script de votre création avant de démarrer tomcat vous ajouterez

su tomcat -c "ulimit -n 4096"

Et vous ne devriez pas être embêté avec des erreurs du type "too many open file".

Mettre dans /opt/tomcat/bin un script nommé Tomcat6.sh contenant :

#Debut fichier Tomcat6.sh

# Adapt the following lines to your configuration
LD_LIBRARY_PATH=/usr/local/apr/lib
JAVA_HOME=/usr/lib/jvm/java-6-sun
CATALINA_HOME=/opt/tomcat
DAEMON_HOME=$CATALINA_HOME/bin
TOMCAT_USER=tomcat
ENDORSED_DIR=$CATALINA_HOME/common/endorsed
# for multi instances adapt those lines.
TMP_DIR=/var/tmp
PID_FILE=/var/run/jsvc.pid
CATALINA_BASE=$CATALINA_HOME

CATALINA_OPTS="-Djava.library.path=/opt/tomcat/bin/tomcat-native-1.1.12-src/jni/native/.libs/"
CLASSPATH=\
$JAVA_HOME/lib/tools.jar:\
$CATALINA_HOME/bin/commons-daemon.jar:\
$CATALINA_HOME/bin/bootstrap.jar

#to avoid the "too many open files" error when tomcat needs more than 1024 opened file descriptors at the same time

su tomcat -c "ulimit -n 4096"

case "$1" in
start)
    #
    # Start Tomcat
    #
    $DAEMON_HOME/jsvc-src/jsvc \
    -user $TOMCAT_USER \
    -home $JAVA_HOME \
    -Dcatalina.home=$CATALINA_HOME \
    -Dcatalina.base=$CATALINA_BASE \
    -Djava.io.tmpdir=$TMP_DIR \
    -Djava.endorsed.dirs=$CATALINA_HOME/common/endorsed \
    -wait 10 \
    -pidfile $PID_FILE \
    -outfile $CATALINA_HOME/logs/catalina.out \
    -errfile '&1' \
    $CATALINA_OPTS \
    -cp $CLASSPATH \
    org.apache.catalina.startup.Bootstrap
    #
    # To get a verbose JVM
    #-verbose \
    # To get a debug of jsvc.
    #-debug \
    exit $?
    ;;

stop)
    #
    # Stop Tomcat
    #
    $DAEMON_HOME/jsvc-src/jsvc \
    -stop \
    -pidfile $PID_FILE \
    org.apache.catalina.startup.Bootstrap
    exit $?
    ;;

*)
    echo "Usage tomcat.sh start/stop"
    exit 1;;
esac

#Fin fichier Tomcat6.sh

Le rendre executable :

chmod a+x /opt/tomcat/bin/Tomcat6.sh

et enfin on donne bien à l'utilisateur tomcat les droits sur tout ce qui est contenu dans le répertoire de tomcat

sudo chown -R tomcat:tomcat /opt/tomcat

5) Bugfixe : désactiver le support d'IPV6

Normalement après l'étape 4, tout est censé fonctionner et vous devriez pouvoir démmarrer votre serveur tomcat en lançant /opt/tomcat/bin/tomcat6.sh start

Néanmoins l'activation du support d'IPV6 entraine souvent une BindException au démarrage de tomcat avec APR.

Il faut donc désactiver le support de l'IPV6 (une techno inutile depuis l'invention de la NAT ;p)

- Editer /etc/modprobe.d/aliases

remplacer

alias net-pf-10 ipv6

par

alias net-pf-10 off

Un reboot du serveur (pour la prise en compte des modifications sur le support de l'ipv6), and That's it !

votre tomcat avec APR devrait pouvoir démarrer sur les ports 80 et 443, en tant qu'utilisateur tomcat une fois lancé avec un

sudo /opt/tomcat/bin/Tomcat6.sh start

Prochaine étape : Faire tourner dessus un serveur CAS, pour disposer d'une solution efficace et performante de Single Sign On ;)

Open SSL : Générer ses certificats

david — Wed, 23 Apr 2008 23:54:00 +0200

Vouloir établir une connexion sécurisée entre un internaute et un site web lors d'un formulaire demandant par exemple des coordonnées banquaires ou un login / mdp est un besoin fréquent.

Pour ce faire, il faut chiffrer les données transmises entre le navigateur du client et le serveur web.

Afin de crypter les données, il faut procéder à un échange de certificats entre le navigateur et le serveur web. Le mécanisme est le suivant : Le serveur dispose d'un fichier appelé certificat contenant une clée privée et une clée publique. Il envoie au navigateur un certificat contenant des informations sur le nom de la société qui met en oeuvre le site, son pays de résidence et surtout une clée publique. La clée privée est gardée jalousement a l'abris sur le serveur. Le navigateur va donc présenter ce certificat à l'internaute des réception de celui-ci (et vous avez souvent une petite fenêtre qui vous demande d'accepter ou refuser ce certificat).

Si le certificat est accepté, le navigateur va crypter les informations à envoyer avec la clée publique, et cela garantira que seul le détenteur de la clée privée correspondante pourra décrypter les données. Ce mécanisme est néanmoins incomplet : si vos données sont en effet protégées entre le navigateur et le serveur, vous n'êtes pas sur de l'identité du serveur. Pour cela il existe des organismes comme Vérisign qui vous garantissent que le serveur avec lequel vous dialoguez est bien celui qu'il prétend être.

Pour ce faire ces organismes disposent de certificats servant à signer un certificat émis par la société du site web.

Les navigateurs intègrent automatiquement les certificats de ces grandes compagnies (appelées "autorités de certification") et peuvent vérifier si le certificat qui lui est envoyé par un site est approuvé par une de ces autorités de certification.

Voici la définition officielle disponible sur le site de Vérisign :

"Chaque certificat SSL est créé pour un serveur particulier dans un domaine spécifique pour une entité professionnelle vérifiée. Comme un passeport ou un permis de conduire, un certificat SSL est émis par une autorité de confiance, l’autorité de certification (Certification Authority, CA en abrégé). Lors de la transaction SSL, le navigateur demande l’authentification du serveur. Le client voit apparaître le nom de la société lorsqu’il clique sur certaines marques de confiance SSL (telles que le sceau VeriSign Secured™ Seal) ou utilise un navigateur prenant en charge la norme Extended Validation (Validation renforcée). Si l’information ne correspond pas ou si le certificat est périmé, le navigateur affiche un message d’erreur ou un avertissement"

Un certificat approuvé par une autorité de certification est appelé un certificat signé.

D'ailleurs quand le navigateur reçoit un certificat signé, l'internaute n'a pas à donner son approbation pour accepter / refuser le certificat : le navigateur lui fait confiance automatiquement.

La signature d'un certificat par une autorité de certification étant payante, il est nécessaire pour un développeur de pouvoir émuler la signature de certificat.

Pour ce faire il faut commencer par créer des certificats allant servir à signer les autres.

C'est parti :

- Je suppose que vous avez déjà installé openssl sur votre environnement unix.

- Je me base sur la distribution ubuntu 8.04.

La première chose à faire est de modifier un fichier de configuration pour indiquer que les certificats que nous allons créer vont être des certificats d'autorité certificatrice.

- Editer le fichier /etc/ssl/openssl.cnf.

Modifier dir pour pointer vers un dossier allant contenir tous vos futurs certificats CA. Par exemple :

dir = /opt/root-certificats/

- Toujours dans le même fichier, remplacer tous les

basicConstraints=CA:FALSE

par

basicConstraints=CA:TRUE

(3 occurences dans le fichier par défaut normalement).

Cet attribut sera présent dans les certificats générés et indique au navigateur qu'il sagit bien d'un certificat émanant d'une CA.

- Modifier le fichier /usr/lib/ssl/misc/CA.sh(ce fichier est un script shell vous permettant de gagner un temps précieux pour créer vos certificats CA, il lance a votre place bon nombre de commandes du jeu d'outils openssl).

CATOP=/opt/root-certificats

- Fermer le fichier ci-dessus et lancer la ldc :
/usr/lib/ssl/misc/CA.sh -newca

- Répondre aux questions en notant bien la passphrase demandée.

Country Name (2 letter code) [AU]:FR
State or Province Name (full name) [Some-State]:Paris
Locality Name (eg, city) []:Paris
Organization Name (eg, company) [Internet Widgits Pty Ltd]:David ROBIN Certification corp
Organizational Unit Name (eg, section) []:certification dpt
Common Name (eg, YOUR name) []:CATOPID
Email Address []:votreemail@mail.net

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:yourpassword

- Pour certaines opérations par la suite il faut convertir le fichier .pem du certificat en .der avec la ldc suivante :

openssl x509 -in /opt/root-certificats/cacert.pem -inform PEM -out /opt/root-certificats/cacert.der -outform DER

- Ré-editer le fichier /etc/ssl/openssl.cnf

Remplacer tous les basicConstraints=CA:TRUE ou basicConstraints=CA:true par basicConstraints=CA:FALSE (4 occurences cette fois car une des entrées du fichier d'origine était déjà a true)

Ainsi tous les certificats créés par la suite n'auront pas l'attribut indiquant qu'il sagit d'un certificat émanant d'une authorité certificatrice.

That's all : vos certificats CA sont créés.

Il reste une dernière petite étape : importer votre certificats dans Firefox (ou IE).

Par défaut firefox inclus un certains de certificats émanants de véritables autorités de certification.

Il faut enrichir cette liste avec notre autorité de certification nouvellement créée.

Aller dans Préférences > Avancé > Chiffrement et cliquer sur le bouton "Afficher les certificats".

Cliquer sur l'onglet "Autorités" de la nouvelle fenêtre.

Ici il faut importer le fichier /opt/root-certificats/cacert.der (ce fichier doit être distribué sur tout vos postes clients).

Vous devriez voir votre autorité parmis celle déjà présente, comme sur le screenshot ci-dessous :

Par la suite, nous utiliserons ces certificats racines afin de signer d'autres certificats, comme dans mon post suivant sur tomcat en mode APR.

Installer un annuaire ldap

david — Thu, 17 Apr 2008 18:55:00 +0200

Voici un petit guide d’installation open ldap sous ubuntu (7.04 version dédibox, mais ce qui suit fonctionne sur les versions 7.10 et 8.04) vous permettant d’installer un annuaire ldap pour, par exemple, gérer un référentiel d’utilisateurs et faire du single-sign-on entre différentes applications.

Aller, on prend une grande respiration, un mug de thé / café, et c'est parti !

étape 1 : Avant d’installer les packages spécifiques à open ldap, nous allons mettre à jour les dépots apt et les packages deja installés sur la machine.

Pour cela 2 commandes :

sudo apt-get update

sudo apt-get upgrade

Ceci étant fait, nous pouvons entrer dans le vif du sujet.

étape 2 : installation de slapd

Installons les packages slapd, ldap-utils et la base de données berkeley db utilisé par slapd.

slapd est OpenLDAP (c’est le nom du démon qui réalise la mise en oeuvre de l’annuaire ldap, ldap-utils contient comme son nom l’indique des tas d’utilitaire pour attaquer un annuaire ldap en ligne de commande ;p)

sudo apt-get install slapd ldap-utils

Nous allons maintenant créer un utilisateur et un group pour notre annuaire ldap :

étape 3 : création d’un utilisateur et d’un groupe pour le processus du serveur ldap

sudo addgroup --system slapd

sudo adduser slapd --home /var/lib/ldap -shell /bin/false --no-create-home -ingroup slapd --system

étape 4 : Configuration

Ceci étant fait, il faut maintenant mettre à jour le fichier /etc/default/slapd.

Ce fichier est utilisé par le script de démarrage du service slapd situé dans /etc/init.d/

# Default location of the slapd.conf file

SLAPD_CONF=/etc/ldap/slapd.conf

# System account to run the slapd server under. If empty the server

# will run as root.

SLAPD_USER="slapd"

# System group to run the slapd server under. If empty the server will

# run in the primary group of its user.

SLAPD_GROUP="slapd"

# Path to the pid file of the slapd server. If not set the init.d script

# will try to figure it out from $SLAPD_CONF (/etc/ldap/slapd.conf)

SLAPD_PIDFILE=

# Configure if the slurpd daemon should be started. Possible values:

# - yes: Always start slurpd

# - no: Never start slurpd

# - auto: Start slurpd if a replica option is found in slapd.conf (default)

SLURPD_START=auto

# slapd normally serves ldap only on all TCP-ports 389. slapd can also

# service requests on TCP-port 636 (ldaps) and requests via unix

# sockets.

SLAPD_SERVICES="ldap://ldap.davidrobin.net:389/ ldaps://ldap.davidrobin.net:636/"

# Additional options to pass to slapd and slurpd

SLAPD_OPTIONS=""

SLURPD_OPTIONS=""

Bref un fichier pas vraiment compliqué qui permettra à slapd de s’executer sous les user / group créés précédemment.

Ensuite nous allons générer un mot de passe chiffré à mettre dans le fichier de conf qui va suivre (l’installeur lors de l’étape 2 l’insère directement dans le ldap, ce qui n’est pas pratique en cas de drop puis recreate de la base de l’annuaire).

La commande à utiliser est slappaswd

sudo slappasswd

qui donne un résultat du type

$ sudo slappasswd

New password:

Re-enter password:

{SSHA}d2BamRTgBuhC6SxC0vFGWol31ki8iq5m

Nous pouvons maintenant éditer /etc/ldap/slapd.conf :

# Global Directives:

# Features to permit

#allow bind_v2

# Schema and objectClass definitions

include /etc/ldap/schema/core.schema

include /etc/ldap/schema/cosine.schema

include /etc/ldap/schema/nis.schema

include /etc/ldap/schema/inetorgperson.schema

include /etc/ldap/schema/misc.schema

include /etc/ldap/schema/corba.schema

include /etc/ldap/schema/openldap.schema

include /etc/ldap/schema/java.schema

include /etc/ldap/schema/ppolicy.schema

# Where the pid file is put. The init.d script

# will not stop the server if you change this.

pidfile /var/run/slapd/slapd.pid

# List of arguments that were passed to the server

argsfile /var/run/slapd/slapd.args

# Read slapd.conf(5) for possible values

loglevel 0

# Where the dynamically loaded modules are stored

modulepath /usr/lib/ldap

moduleload back_bdb

# The maximum number of entries that is returned for a search operation

sizelimit 500

# The tool-threads parameter sets the actual amount of cpu's that is used

# for indexing.

tool-threads 1

backend bdb

checkpoint 512 30

#backend <other>

database bdb

# The base of your directory in database #1

suffix "dc=davidrobin,dc=net"

# rootdn directive for specifying a superuser on the database. This is needed

# for syncrepl.

rootdn "cn=admin,dc=davidrobin,dc=net"

rootpw {SSHA}UT307hSsFU++B3UvefzqFVzVp3UlzkwJ

# Where the database file are physically stored for database #1

directory "/var/lib/ldap"

# For the Debian package we use 2MB as default but be sure to update this

# value if you have plenty of RAM

dbconfig set_cachesize 0 2097152 0

# Sven Hartge reported that he had to set this value incredibly high

# to get slapd running at all. See http://bugs.debian.org/303057

# for more information.

# Number of objects that can be locked at the same time.

dbconfig set_lk_max_objects 1500

# Number of locks (both requested and granted)

dbconfig set_lk_max_locks 1500

# Number of lockers

dbconfig set_lk_max_lockers 1500

# Indexing options for database #1

index objectClass eq

# Save the time that the entry gets modified, for database #1

lastmod on

# Where to store the replica logs for database #1

# replogfile /var/lib/ldap/replog

access to attrs=userPassword,shadowLastChange

by dn="cn=admin,dc=davidrobin,dc=net" write

by anonymous auth

by self write

by * none

access to dn.base="" by * read

# The admin dn has full write access, everyone else

# can read everything.

access to *

by dn="cn=admin,dc=davidrobin,dc=net" write

by * read

Les choses à repérer et modifier dans le fichier ci-dessus

les inclusions de schema : pour tirer au maximum partie de votre annuaire ldap, il faut ajouter des schema,càd des fichiers qui en quelque sorte enrichissent ce que le serveur ldap peut stocker comme type d’information.

include /etc/ldap/schema/core.schema

include /etc/ldap/schema/cosine.schema

include /etc/ldap/schema/nis.schema

include /etc/ldap/schema/inetorgperson.schema

include /etc/ldap/schema/misc.schema

include /etc/ldap/schema/corba.schema

include /etc/ldap/schema/openldap.schema

include /etc/ldap/schema/java.schema

include /etc/ldap/schema/ppolicy.schema

au lieu de

include /etc/ldap/schema/core.schema

include /etc/ldap/schema/cosine.schema

include /etc/ldap/schema/nis.schema

include /etc/ldap/schema/inetorgperson.schema

L’autre passage de la conf à modifier est celui ou figure ces lignes :

suffix "dc=davidrobin,dc=net"

# rootdn directive for specifying a superuser on the database. This is needed

# for syncrepl.

rootdn "cn=admin,dc=davidrobin,dc=net"

rootpw {SSHA}UT307hSsFU++B3UvefzqFVzVp3UlzkwJ

Il faut décommenter rootdn et modifier le domaine (l’installeur de paquets en a sûrement mis un par défaut qui ne correspond pas à ce que vous voulez).

et ajouter la ligne rootpw avec le mot de passe issu de la commande slappasswd exécuté précédemment.

Le reste n’est pas très compliqué, il suffit de remplacer par votre domaine toutes les lignes du style

dc=davidrobin,dc=net

Après l’édition de ce fichier il faut donner les droits adéquats à l’utilisateur et au groupe slapd (à chaque fois que vous manipulerez en root des fichiers sous les répertoires listés dans la commande qui va suivre, penser à remettre les droits pour l’utilisateur slapd).

sudo chown -R slapd.slapd /etc/ldap /var/lib/ldap /var/lib/slapd /var/run/slapd /usr/sbin/slapd

et pour les droits

sudo chmod -v 644 /etc/ldap/ldap.conf

sudo chmod -v 600 /etc/ldap/slapd.conf

Nous allons initialiser proprement l’annuaire ldap avec une branche pour les personnes et une branche pour les groupes par exemple.

Tout d’abord, il faut stopper l’annuaire :

sudo /etc/init.d/slapd stop

Et purger la base créé par l’installeur des paquets slapd

sudo rm -rf /var/lib/ldap/*

Pour initialiser l’annuaire nous allons utiliser la commande slapadd et un fichier ldiff.

Pour en savoir plus sur le format de fichier ldiff et sur les termes de ce tutorial que vous auriez trouvés un peu barbares, je vous suggère vivement le livre sur ldap chez O’Reilly ;)

En attendant voici donc le fichier ldiff utilisé :

## Build the root node.

dn: dc=davidrobin,dc=net

dc: davidrobin

objectClass: dcObject

objectClass: organizationalUnit

ou: davidrobin.net

## Build the people ou.

dn: ou=people,dc=davidrobin,dc=net

objectClass: organizationalUnit

ou: people

## Build the groups ou.

dn: ou=groups,dc=davidrobin,dc=net

objectClass: organizationalUnit

ou: groups

On l’ajoute avec :

sudo slapadd -v -l initAnnuaire.ldiff

Ce qui produit :

/etc/ldap/slapd.conf: line 100: rootdn is always granted unlimited privileges.

/etc/ldap/slapd.conf: line 117: rootdn is always granted unlimited privileges.

added: "dc=davidrobin,dc=net" (00000001)

added: "ou=people,dc=davidrobin,dc=net" (00000002)

added: "ou=groups,dc=davidrobin,dc=net" (00000003)

Ne pas oubliez de bien repositionner les permissions pour l’utilisateur slapd :

sudo chown -R slapd.slapd /var/lib/ldap

Et enfin on y est, il ne reste plus qu’à démarrer le serveur avec :

sudo /etc/init.d/slapd start

Pour tester l’accès au serveur ldap, en supposant que votre domaine est bien configuré chez votre registrar (cf un de mes posts précédent) depuis un terminal vous pouvez taper :

ldapsearch -H ldap://ldap.davidrobin.net:389 -x -b "dc=davidrobin,dc=net" "(objectclass=*)"

Et cela devrait vous produire un résultat du type :

# extended LDIF

# LDAPv3

# base <dc=davidrobin,dc=net> with scope subtree

# filter: (objectclass=*)

# requesting: ALL

# davidrobin.net

dn: dc=davidrobin,dc=net

dc: davidrobin

objectClass: dcObject

objectClass: organizationalUnit

ou: davidrobin.net

# people, davidrobin.net

dn: ou=people,dc=davidrobin,dc=net

objectClass: organizationalUnit

ou: people

# groups, davidrobin.net

dn: ou=groups,dc=davidrobin,dc=net

objectClass: organizationalUnit

ou: groups

# search result

search: 2

result: 0 Success

# numResponses: 4

# numEntries: 3

Dans un prochain post nous verrons comment compléter cette configuration pour attaquer le ldap de façon sécurisée avec openssl ;)

Hébergement et DNS

david — Thu, 17 Apr 2008 18:52:00 +0200

Mettre à disposition d'une communauté de personnes un site web n'est pas forcément aussi compliqué qu'il y parait.

Le but de ce post, contrairement à d'autres posts sur mon blog n'est pas d'être exhaustif techniquement et de vous guider pas à pas mais juste de vous donner une idée claire sur les étapes qui mènent jusqu'à la mise en ligne d'un site web.

Le commencement, c’est évidemment de disposer d'une machine pour héberger le site web et dans un second temps, de faire en sorte qu’un internaute puisse accéder à votre machine en tapant une url du type http://www.mondomaine.com dans son navigateur web préféré.

Enfin il faudra bien sur ensuite installer des logiciels et recourir le plus souvent à du développement pour réaliser votre site web.

Pour la machine, ça peu paraître simple : un vieux pc qui traîne chez vous pourrait faire l’affaire, mais dans ce cas il faudra laisser tourner l’ordinateur chez vous 24h/24, et disposer d'un fournisseur d'accès vous garantissant une adresse IP fixe.

Il faut savoir que des sociétés peuvent vous fournir une machine pour héberger votre site, ce qui vous évite d’avoir un vieux pc (souvent bruyant :p) qui tourne 24h sur 24h chez vous.

La solution la plus simple et meilleur rapport qualité / prix (30 euros par mois) c’est la dedibox, disponible sur http://www.dedibox.fr/.

Le service dédibox vous permet de louer une machine, d'installer dessus un Système d’exploitation parmis ceux proposés, et vous disposez d'une adresse IP fixe pour votre dedibox.

L'arrêt / démarrage du serveur ainsi que la réinstallation du système d'exploitation ce fait via une interface web.

Après si vous visez la conquête du monde avec votre site web (et donc vous souhaitez pouvoir répondre a de nombreuse visites, en gardant une vitesse d'affichage des pages rapide), d’autre solutions d'hébergement existent : Amazone avec son service de stockage S3 et son service d'hebergement EC2 pour vos applications; le tout nouveau service en version beta Google Apps ou bien encore Joyent.

Que vous ayez choisi dédibox, amazone, google, ou bien d'héberger depuis chez vous, vous avez votre machine et souhaiter pouvoir y associer un "nom de domaine" pour pas avoir à communiquer une url barbare du type http://81.123.56.78 !

La moitié du travail étant accompli en ayant votre machine, il ne vous reste plus qu’à acheter un nom de domaine chez ce qui s’appelle un registrar : une société qui enregistre un nom de domaine pour vous, et qui offre des services dns -> c'est à dire permettant de traduire www.mondomaine.com en 81.123.56.78 par exemple.

Un bon choix de registrar est gandi.net, gandi est une société française offrant un bon service et une interface d’administration simple.

Une fois votre domaine réservé (entre 6 et 12 euros ttc par an), il faut aller dans la gestion dns de gandi, et dans le mode “expert” ajouter une ligne du type :

* 3600 IN A ip.de.la.dedibox

Cela permet d’atteindre votre machine en effectuant par exemple un ping sur www.davidrobin.net ou sur toto.davidrobin.net (il faut un peu de temps pour que la nouvelle directive dns soit prise en compte par votre registar, parfois 4h avec la configuration initiale de gandi)

le chiffre suivant le symbole '*' est ce que l’on nomme le time to live, qui indique combien de temps sera garder en cache votre redirection de nom (ici donc 1h -> 3600s).

Si vous faite des tests, mettez une valeur faible pour ce chiffre pour ne pas avoir à attendre longtemps entre chaque modification de configuration ;p

That’s all !

iI ne vous reste plus qu’à installer des softs sur votre serveur pour mettre à disposition sur internet annuaire ldap, base de donnée, site web, serveur ftp ....

Bref cela fera l'objet d'autres posts sur ce site et des combinaison du type apache/ php / mysql sont couverts par de nombreux articles et tutoriaux sur le net ;)

Talend : Un exemple de composants customisés

david — Thu, 17 Apr 2008 18:43:00 +0200

Après avoir introduit Talend dans le post précédent, on enchaîne avec la présentation de composants customisés.

Ce post va vous fournir les ressources pour utiliser 2 composants dédiés à l’utilisation du framework Log4J au sein de Talend Open Studio.

Un des composants initialise le framework (à l'aide d'un fichier XML) et l'autre sert à générer un log avec le niveau souhaité et le l’objet logger (au sens log4j) souhaité.

Cela fait suite à mes diverses missions pour Talend ou assez régulièrement il fallait distinguer un flux de logs fonctionnels et un flux de logs techniques.

Les composants Log4J permettent de répondre simplement à la mise en place de logs fonctionnels (comptes- rendus, suivi d’avancée, etc...), les logs techniques étant couvert par les composants classiques talend, et l'AMC (un outil d’analyse de logs techniques officiel Talend).

Voici quelques informations sur les composants que j'ai mis à disposition sur l’écosystème talend (http://www.talendforge.org/ext/index.php) :

Commençons par le plus important : les icônes :D

Une cafetière et un mug ;)

Merci à Mathieu LECARME pour ces ô combien magnifiques icônes, mettant en oeuvre des techniques graphiques ancestrales issues du temps béni des défunts atari st et amiga.

L'icône de la cafetière correspond au composant tInitLog4J, ayant pour rôle d’initialiser le framework de log.

Le mug correspond au composant tLog4J ayant pour rôle la génération d’un log à un endroit du job, en utilisant un des loggers définis dans le fichier de configuration de log4J ( chargé par tInitLog4J au préalable) , plus un niveau de log (au choix entre DEBUG, WARN,INFO,ERROR,FATAL) et bien sur d’un message.

-Restrictions / précisions sur l'utilisation de ces composants :
- Une même configuration de log4j pour tous les jobs s'exécutant dans une même JVM (cela n'empêche pas d'avoir des loggers / sorties de logs différentes dans chaque jobs)
-Gestion du multi-threading (pas de problème de reset de la configuration si des sous jobs sont lancés en parallèles et contiennent eux aussi le composant d'initialisation du framework log4j) --> permet de lancer les jobs un par un ou en parallèle avec un "master job".
-L'initialisation ne sera toujours faite qu'une seule fois (gain en performance et obtenu grâce a la restriction ci-dessus)

- Support du mode de configuration XML de log4j uniquement.(le mode de configuration XML est le seul mode qui permet d'utiliser le mécanisme de logging asynchrone de log4j, c'est une best practice que d'utiliser ce mécanisme).

- Les composants appartiennent à une sous famille "log4j" de la famille "Logs & Errors".

Apres avoir téléchargé ces composants depuis l’écosystème Talend, si c’est la première fois que vous utilisez des composants customisés, vous devrez aller dans le menu des préférences Talend (window > preferences...> talend )

choisir components et preciser un répertoire a votre convenance (en dehors du répertoire de Talend Open Studio de préférence)

Un exemple d’utilisation : un job qui classes des nombres pairs et impairs et utilise les 2 composants ci-dessus :

Donc un flux de nombres aléatoires en entrée et deux flux en sorties : nombres pairs et impairs.

Le premier composant est donc notre magnifique cafetière.

Si l’on regarde ses propriétés, elle prend en paramètre l’emplacement d’un fichier XML (spécifié en dur dans cet exemple, mais bien sur à mettre en tant que paramètre contextuel).

Le contenu de ce fichier est le suivant :

<?xml version="1.0" encoding="UTF-8" ?>

<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">

<log4j:configuration>

<appender-ref ref="SystemOut" />

</appender>

</layout>

</appender>

<appender name="debugfile"

class="org.apache.log4j.RollingFileAppender">

<param name="ConversionPattern"

value="%d{ABSOLUTE} %c - %m%n" />

</layout>

</appender>

<appender name="errorfile"

class="org.apache.log4j.RollingFileAppender">

<param name="ConversionPattern"

value="%d{ABSOLUTE} %c - %m%n" />

</layout>

</appender>

<appender-ref ref="errorfile" />

</logger>

<appender-ref ref="debugfile" />

<appender-ref ref="SystemOut" />

</logger>

<root>

</root>

</log4j:configuration>

Ce fichier définit donc 2 loggers : errorLogger et debugLogger, debugLogger a 2 sorties : la sortie standard et un fichier, et errorLogger n’a qu’une sortie vers un fichier.

Si ce fichier reste un mystère, je vous renvoie vers la documentation de log4J et plus précisément du fichier XML de configuration ici : http://wiki.apache.org/logging-log4j/Log4jXmlFormat

Chacun des mugs en sortie du tMap va utiliser un de ces loggers.

Arbitrairement le logger (un composant tLog4J) des nombres pairs va utiliser le logger “debugLogger” et celui des nombres impairs le “errorLogger”

Screen du logger des nombres impairs :

Screen du logger des nombres pair :

Voila, that’s all ;)

Ces composants sont un peu brut de fonderie niveau choix proposés, et contrôles d’erreur sur la saisie d’un logger erroné par exemple.

Mais je les ai voulu les plus simples et performants possibles, le framework log4J étant auto suffisant en terme de flexibilité offertes par la suite.

Toutes remarque / suggestion est bien entendue la bienvenue ;)

Talend : Un ETL Open Source

david — Thu, 17 Apr 2008 18:33:00 +0200

Qu’est-ce qu’un ETL ?

ETL = Extract Transform and Load

Bref pas très parlant, mais retenez que si vous voulez déplacer des données électroniques stockées dans un fichier texte, xml, excel ou dans une base de données, ce logiciel peut vous être très pratique.

L’idée est de permettre de façon “graphique” a un développeur de créer des jobs réalisant des transformation de données (ex : migrer une base de données d’un fichier excel vers une base mysql).

Ce logiciel a le bon goût d’être Open Source (téléchargeable sur www.talend.com).

Il se place au même niveau qu’un datastage mais a l’avantage d’être plus orienté job design que scripting.

Et le peu de scripting a fournir pour réaliser un job est à produire en JAVA ou en PERL plutôt que dans un langage de script propriétaire.

Talend Open Studio permet aussi à l’utilisateur d’étendre le jeu de composants existant et / ou d’utiliser dans des jobs des routines pour reprendre la main sur le code généré.

Bref, un outil qui procure gain de temps en désignant des jobs en posant des composants sur une grille et en les reliants entre eux, sans ajouter un “effet boite noire” , l’outil offre une bonne souplesse dans toute opération du type migration / transformation de donnée.

Il est basé sur éclipse et marche sous windows et linux (snif rien de prévu pour mac at the moment :/).

A titre personnel, j’intervient régulièrement dans des missions mettant en oeuvre Talend Open Studio.

Promo : des liens et des potes

david — Thu, 17 Apr 2008 18:31:00 +0200

• Microdons : Une association fondée par des amies. Le but de cette association est de faciliter les dons aux associations caritatives en innovant dans les moyens de collecte. Leur site http://www.microdon.org/

•Safari : vous avez remarqué qu’a chacun de mes posts je met “en couv” une (belle) photo d’un animal, et les ouvrages O’reilly sont très connus pour avoir la même habitude.

Par contre ce qui est moins connu c’est que tout ces livres sont consultables online via leur “safari”. Le principe est simple : un abonnement mensuel (différent niveaux, ça commence à 10$ par mois). Autant dire que c’est assez incontournable pour tout passionné de nouvelles technos. (http://safari.oreilly.com/)

•Stevostin, le site : le site d’un de mes anciens coloks,le sir Gregory MAKLES scénariste, dessinateur de BD. Sur ce site vous trouverez la promo de sa dernière oeuvre (Ruppert) , et les aventures du célèbre “Stevostin”, http://www.ruppert-lesite.com

•Le guide du poker en bd : écrit par Florent LEPEYTRE, et édité par un autre pote (coup double), disponible chez CARABAS (http://www.editions-carabas.com/)

•Le coin de cstar : Le blog d’un pote geek (http://www.cestari.info)

Check rapide d’un serveur smtp

david — Thu, 17 Apr 2008 18:28:00 +0200

Installer un serveur de mail est assez simple et est couvert dans de nombreux tutoriaux.

Par contre avoir un serveur de mail qui ne serve pas de relais de spam, nécessite d’effectuer quelques vérifications après avoir réussi à faire partir son premier email depuis le serveur :-)

Un test simple :

telnet ip.de.mon.server(ou hote.nom.domaine) 25

helo hote.nom.domaine

mail from: testname

rcpt to: votre@email

Ce test doit vous donner une ligne du style :

554 5.7.1 votre@email: Relay access denied

Dans ce cas votre serveur smtp est bien configuré et ne peut pas servir de relais de spam.

Si vous avez un code de réponse 250 par contre, un dpkg-reconfigure sur postfix s’impose =)

L’important est de bien interdire l’envoie d'émail depuis une adresse net :

- Vérifier le paramètre mynetworks dans /etc/postfix/main.cf, il doit avoir la valeur 127.0.0.0/8 si seules les applications tournant sur la meme machine que le serveur mail doivent pouvoir envoyer des emails.

-Vérifier le paramètre mydestination qui indique les domaines pour lesquels il est possible de recevoir des mails.

That’s all !

Audit de code avec findbugs

david — Thu, 17 Apr 2008 18:14:00 +0200

Un bon utilitaire afin d’avoir quelques métriques : findbugs.

Disponible en téléchargement ici : http://findbugs.sourceforge.net ,

L’outil est assez simple à prendre en main, et dispose aussi d’un plugin éclipse.

Dans un rapport d’audit se pose le problème d’exporter les résultats d’analyse.

Pour exporter les résultats au format HTML, voici une petite manipulation bien pratique :

- Lancer findbugs en mode graphique et configurer un projet pour démarrer une nouvelle analyse.

- Sauvegarder le projet au format fbp (disponible dans “enregistrer sous...”)

- Utiliser la ligne de commande suivante (sous unix) :

./findbugs -textui -project monprojet.fbp -jvmArgs

"-Dfile.encoding=UTF-8" -html > monprojet.html

- Ajouter ensuite dans le fichier html généré une balise meta pour forcer l’encoding de la page en utf-8 (cette balise doit être placer dans le bloc <head> ... </head> de la page.

La balise ci-dessus + le paramètre système de la JVM -Dfile.encoding=UTF-8 assurent l’affichage correct de tous types de caractères dans le code HTML généré par l’outil.

Avec cet outil, vous n’avez plus qu’a vous concentrez pour le reste de l’audit sur la conception ;)

Pense bête : quelques commandes en vrac

david — Thu, 17 Apr 2008 18:12:00 +0200

Cette commande supprime tous les dossiers CVS et leur contenu a partir du répertoire /nom/repertoire/départ :

find /nom/repertoire/depart/ -type d -name 'CVS' | xargs rm -rf

Prise de screenshots (sous mac)

⌘+shift+4

⌘+shift+4+espace

⌘+shift+3

Evaluation de GWT : Google Web Toolkit

david — Thu, 17 Apr 2008 17:47:00 +0200

J'ai évalué GWT durant quelques heures et voici un petit feedback sur ce framework.

Le périmètre:

- Framework pour réaliser des éléments graphiques "riches" (donc comprenants pas mal d'AJAX) au sein de pages d'une application web (toutes technos confondues)

- Ce framework peut remplacer le flash dans une certaine mesure (s'il n'y a pas besoin de "sprite" ou qu'on ne fait pas une appli type "jeu du pingouin").

- Quand dans un cahier des charges il y a sur une page un "bloc" ou l'utilisateur doit faire pas mal d'actions dynamiques sans reload de la page entière

(drag'n drop puis click sur un bouton qui provoque un refresh de tel ou tel élément, etc...) ça peut convenir.

- ça convient aussi lorsqu'il faut réaliser un éditeur de texte riche (c'est meme un des exemples de base).

L'idée de base :

Permettre de développer en JAVA des widgets intégrables dans tous sites (cad pour toutes technos) et cross browser.

Le framework viens donc avec une API, un compilateur JAVA vers JavaScript et des outils de debug / tests.

Autre outil fourni : le JSNI(pour JavaScript Native Interface).

Une techno inspirée de la JNI et qui permet de prendre la main directement sur le JavaScript,

et aussi d'appeler depuis du JavaScript une méthode d'un objet JAVA (au niveau code bien sur, car au final tout est 100% javascript).

Pour étudier un peu ce framework j'ai évidemment réalisé un "Hello World !".

Ce Hello World est donc un widget qui récupére une liste de catégories d'un Alfresco et affiche l'arbre des catégories.

Pour ce faire j'ai a disposition sur mon alfresco (http://www.davidrobin.net:8080/alfresco) un web script disponible sur

http://www.davidrobin.net:8080/alfresco/s/liste/categories?guest=true

qui renvoie la chaine suivante :

`myFunction({"categories" : [{"name" : "sport" },{"name" : "sante" },{"name" : "people" },{"name" : "politique" },{"name" : "écologie" },{"name" : "biologie" }]})`

Bref du JSON emballé dans une fonction callback.

Cette chaine au format JSON est construite a partir de l'arborescence des catégories (cf screen ci-dessous)

Mais mieux vaut une vidéo qu’un long discours :

widget-demo.mov

Cet exemple montre qu'il suffit de très peu de code (cf le zip des sources ci-après) pour réaliser un widget résolvant le problème des appels AJAX cross-domaines, avec un composant (l'arbre) codé en quelques lignes JAVA alors que de nombreuses lignes de JavaScript / HTML sont d'habitude nécessaires.

Il utilise aussi la JSNI (Java Script Native Interface) pour les curieux qui manquent d'un peu de motivation pour aller regarder le code source ;-)

Niveau performance c'est aussi tout bon car il n'y a que très peu d'appel client/serveur, et le code javascript généré est très performant.

Pour ceux souhaitant étudier un peu plus ces exemples vous devrez télécharger et installer GWT (voir http://code.google.com/webtoolkit/).

et vous pourrez télécharger ensuite le projet éclipse via les liens ci-dessous :

- www.zip => zip contenant le widget sous sa forme statique (cad full javascript / html) le fichier a ouvrir dans le navigateur est AlfrescoWidget.html

- AlfrescoWidget.zip => le zip du projet éclipse contenant les sources.

Autres ressources : un bon bouquin => http://www.gwtapps.com/

Conclusion : Un bon outil à condition de bien respecter son périmètre (il faut résister à la tentation de vouloir coder toute une application avec :p).

Le retour du blog

david — Thu, 17 Apr 2008 12:52:00 +0200

Après une pâle tentative il y a un an, je retente l’expérience blog ;)

Vous trouverez ici des infos essentiellement Geek-oriented + du “36 15 Ma Vie” de temps en temps.

Un blog c’est du texte, des images et des vidéos, et je suis décidé à ne mettre que des belles photos ou rien.

La plus belle série de photos que j’ai sous la main ayant été prise au Zoo de San Diego, mes pages vont êtres agrémentés d’animaux pendant un certain temps ;)