Shakaran

Por lo general, al iniciar alguna consola o terminal bash, se leen muchos archivos de configuración por defecto y se abren archivos para guardar los eventos de actividad que van ocurriendo. Aunque es útil, puede ralentizar un poco la carga del terminal.

Normalmente, cuando un sistema lleva mucho tiempo en ejecución o ha pasado bastante tiempo desde que fue instalado por primera vez, se acumulan bastantes logs de actividad de diferentes procesos.

Logrotate es una buena utilidad, activada por defecto en la mayoría de distribuciones para los archivos más importantes y que generan mayor volumen de información. Es muy útil porque ademas comprime los logs y los borra pasado un tiempo.

El problema, es que no todas las configuraciones por defecto de logrotate suministradas por la distribución, pueden resultar útiles para todos los usuarios.

Aunque se puede optar por personalizar logrotate para los archivos necesarios, muchas veces se desconocen cuales son todos los archivos de logs o resulta demasiado tedioso ir configurando todos, incluso aunque utilices sistemas automatizados como Puppet.

De ahí la necesidad de crear un pequeño script de bash, más radical (bajo responsabilidad del usuario) que previo respaldo de todos los logs en el home, borre todos los archivos de log más antiguos que una determinada fecha dada en días y tambien borre archivos rotados con logrotate.

Lo he llamado zerolog y este es código que realiza esas tareas:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

#!/usr/bin/env bash
 
#    zerolog is a bash script for delete common logs on /var/log and
#    avoid fill the disk with rotated files. It backups previously
#    the logs on home folder and it can preserve logs older than
#    a date given on days. This is useful for avoid slow sessions
#    starts on bash terminals.
 
#    Copyright (C) 2012 by Ángel Guzmán Maeso, shakaran at gmail dot com
 
#    This program is free software; you can redistribute it and/or modify
#    it under the terms of the GNU General Public License as published by
#    the Free Software Foundation; either version 3 of the License, or
#    (at your option) any later version.
 
#    This program is distributed in the hope that it will be useful,
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
#    GNU General Public License for more details.
 
#    You should have received a copy of the GNU General Public License
#    along with this program; if not, write to the Free Software
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
 
usage(){
    echo 'Usage: $0 [DAYS]'
    echo 'DAYS: Remove logs older than DAYS. Default: 0 days'
    exit 1
}
 
if [ `/usr/bin/id -u` -ne 0 ]; then
    echo 'Please, run this script as root'
    usage
fi
 
if [ -z "$1" ]; then
    MTIME_DAYS=''
else
    MTIME_DAYS='-mtime +$1'
fi
 
echo Currently logs size: `du -hs /var/log/ | awk {'print $1'}`
echo 'Backup the log folder on home'
tar zcPf ~/logs-`date '+%m-%d-%y-%H:%M:%S'`.tar.gz /var/log
 
echo 'Removing rotated log files'
find /var/log/ -type f $MTIME_DAYS -name *.gz -exec rm -rf '{}' \;
 
echo 'Emptying the logs'
for logs in `find /var/log $MTIME_DAYS -type f`; do > $logs; done
 
echo Currently logs size: `du -hs /var/log/ | awk {'print $1'}`

El script esta subido a github en:

https://github.com/shakaran/scripts/blob/master/zerolog.sh

Por si alguien quiere hacer fork, modificarlo o en un futuro hago nuevas modificaciones. Esta licenciado bajo GPLv3.

Ejemplos de uso

Para usarlo, requiere ser administrador, ya que no todos los logs pueden borrarse como usuario regular.

Puede usarse como:

1

$ sudo ./zerolog.sh

Que borrará todos los logs rotados y vaciara existentes, ademas de crear un backup previo en el home del tipo logs-<FECHA>.tar.gz con la fecha actual de la ejecución. Por si quieres conservar los logs o decides restaurarlos por algún motivo.

Si quieres borrar sólo los más antiguos de X días, por ejemplo los más antiguos de hace una semana:

1

$ sudo ./zerolog.sh 7

Incluso puedes crearte un alias zlog:

1

$ alias zlog="sudo sh /ruta/zerolog.sh"

También puedes añadir el script como una tarea cron y que se ejecute a diario, por ejemplo:

1

$ sudo crontab -e

Y añadir:

1

0 0 * * * sh /ruta/zerolog.sh > /dev/null 2>&1

Por otro lado, si te importan poco tus logs o quieren guardar solo los más recientes, puedes optar por una opción más drástica como:

1

0 0 * * * find /var/log/ -type f -mtime +7 -exec rm -rf '{}' \; > /dev/null 2>&1

ZeroC Ice logo

Ice o  Internet Communications Engine  es una plataforma middleware orientada a objetos, que permite escribir aplicaciones distribuidas con muy poco coste. Provee herramientas, APIs, bibliotecas y bindings para la construcciones de aplicaciones cliente-servidor de forma escalable.

Es una buena herramienta de trabajo para entornos que sean bastante heterogéneos, donde el cliente y servidor puede estar escritos en lenguajes de programación muy diferentes y ejecutarse sobre plataformas, sistemas operativos o arquitecturas muy variadas.

Su fuerte radica en un gran soporte de tecnologías de red con interacciones a bajo nivel de red, enfoque en la lógica de las aplicaciones y portabilidad de entornos muy diversos.

Otro punto fuerte a destacar es la abstracción de red para detalles como abrir conexiones de red, serializado y des-serializado de datos transmitidos por red, reintentos fallidos de conexión y muchos otros detalles más de bajo nivel que ayudan a simplificar la capa de red.

Soporta bindings con bastantes lenguajes de programación como: 
C++, .NET, Java,Python, Objective-C, Ruby, PHP, y ActionScript.

Debido a estas características Ice es usado por muchas compañias con misiones críticas en el mundo. La curva de aprendizaje es sencilla y existe una gran infraestructura de aplicaciones técnicas que se demandan.

Ice es software libre bajo licencia GPLv2 y comercializado bajo la marca ZeroC.

Instalación con repositorio

Esta opción de instalación es sencilla y cómoda, pero no esta aconsejada para desarrolladores que necesiten actualizaciones con bastante frecuencia o disponer de una versión determinada.

Descargar el repo (en estos momentos de escribir el artículo para la versión 3.4) desde la página web oficial:

1

 # wget http://download.zeroc.com/Ice/3.4/rhel6/zeroc-ice-rhel6.repo -O /etc/yum.repos.d/zeroc-ice-rhel6.repo

Activar el repositorio e instalar ZeroC Ice y biblioteca Ice para Python:

1

 # yum --enablerepo zeroc-ice install -y ice ice-python

Instalación desde fuentes

Si tu necesidad esta más orientada al enfoque desarrollador, puedes compilar la versión que requieras o en desarrollo. En el momento de escribir este artículo se compila para la versión 3.4.2 de Ice.

Instalar portable C preprocessor desde el repo de ZeroC Ice (también puedes optar por bajar y compilar los fuentes de mcpp, pero no es necesario):

1

# yum install -y mcpp-devel

Después bajamos los fuentes de Ice, descomprimimos y compilamos la versión en C++ y su binding para Python (en este caso para la versión 3.4.2 de Ice). Puedes hacerlo todo en una línea con:

1

# wget http://zeroc.com/download/Ice/3.4/Ice-3.4.2.tar.gz; tar xvzf Ice-*.tar.gz; cd Ice-*/cpp; make; make install; cd ../py/; make;make install

La instalación de Ice quedará bajo /opt/Ice-3.4.2/ y el binding python sobre /opt/Ice-3.4.2/python. Es importante recalcar que el binding python se asociara con la versión de defecto de Python en el sistema si dispones de varias.

Por último, es necesario indicar el el PATH y el PYTHONPATH del sistema, donde se encuentra la instalación de Ice y su binding de Python:

1
2

# export PATH=/opt/Ice-3.4.2/bin:$PATH
# export PYTHONPATH=/opt/Ice-3.4.2/python:$PYTHONPATH

El arte de depurar y perfilar con PHP

En desarrollo web y por lo general, en cualquier aplicación que requiera tener una demanda escalable, son muy importantes los algoritmos empleados, las llamadas a funciones nativas y las estructuras de datos utilizadas.

En aplicaciones PHP con miles de líneas de código se necesita un diseño eficiente para poder manejar una buena ejecución del código PHP.

Principalmente se busca reducir el consumo de memoria y CPU al máximo posible, sin que la aplicación pierda funcionalidad, ni características. Para lograr este objetivo y que la aplicación sea escalable, se busca utilizar buenas herramientas de depuración y profiling (perfilado de rendimiento). Con ello se consigue que el programador o ingeniero disponga de una buena perspectiva de lo que esta haciendo a bajo nivel su aplicación y decidir en consecuencia que técnica aplicar.

El perfilado o medición del rendimiento (performance profiling) permite ejecutar código en un entorno controlado y devolver un listado con estadísticas de tiempo gastado en cada funcion, longitud de consultas a la base de datos o la cantidad de memoria que ha sido usada. De esta forma, se puede desechar codígo lento o superfluo de una manera muy rápida o incluso realizar pequeños trucos en partes críticas para ganar más rendimiento.

Herramientas

En PHP existen varias herramientas de depuración(debugging) y localización de cuellos de botella(bottleneck) para perfilado de rendimiento.

Las herramientas más utilizadas son:

• BenchMark es un proyecto PEAR de PHP, pero actualmente no esta mantenido.
• DBG PHP Debugger es otra herramienta de depuración que dispone de una versión comercial y otra gratuita. La versión gratuita sólo permite depurar la rama de versión 5.2 y la comercial la versión 5.3. La aplicación es bastante cara y parece que no tiene mucha actividad y estar sólo integrada con el IDE NuSphere PhpED.
• El Depurador Avanzado de PHP (APD, del inglés “Advanced PHP Debugger“) es un proyecto PEAR de PHP escrito en C por George Schlossnagle and Daniel Cowgill. Es cargado como una extensión en el motor Zend y funciona enlazando e interceptando las llamadas a funciones en el núcleo de Zend. Esto permite la medición del tiempo de ejecución de una función, la vuelta atrás de pilas, etc. La documentación es mínima y los informes de depurado junto con funcionalidades son algo reducidas, por lo que en la práctica no es la opción más utilizada.
• Xdebug es el depurador y perfilador por excelencia de PHP escrito por Derick Rethans. Tiene una gran variedad de parámetros de configuración, depuración remota, integración con muchos IDEs (Eclipse, Netbeans, etc), reportes coloreados, niveles máximos de anidación para el depurado, accionadores (triggers) para el perfilador, un conjunto de funciones (para puntos de ruptura, analisis de tiempos, etiquetado de código, etc), reemplazo de var_dump por funciones de visualización, trazas de la pila de ejecución,  trazas de funciones, análisis de cobertura de código,   etc.

Instalación y configuración de Xdebug

Puesto que Xdebug ofrece las mejores características y facilidades, es la opción preferida, ademas la instalación y configuración en Ubuntu 11.10 es bastante sencilla.

Se pueden bajar los f uentes y compilarlos, pero resulta más cómodo bajar del repositorio PEAR la aplicación e instalarla.

Para instalar el paquete PEAR, debemos tener previamente PEAR instalado:

1

$ sudo apt-get install php-pear php5-dev

Despues, instalamos Xdebug a través de PECL

1

$ sudo pecl install xdebug

Una vez finalizada la instalación, podemos encontrar la biblioteca compartida compilada en /usr/lib/php5/20090626+lfs/xdebug.so

Pasamos a configurar el php.ini para que cargue Xdebug. Por defecto Ubuntu 11.10 tiene varios php.ini, como son /etc/php5/cli/php.ini y /etc/php5/apache2/php.ini. Este último es que se utiliza para la configuración global.

Pasamos a modo root:

1

$ sudo su -

Añadimos Xdebug al php.ini cargándolo como extensión zend y con el path completo, en nuestro caso el path es /usr/lib/php5/20090626+lfs/xdebug.so

1

# echo 'zend_extension = "/usr/lib/php5/20090626+lfs/xdebug.so"' >> /etc/php5/apache2/php.ini

Después lo cargamos como extensión PHP:

1

# echo "extension=xdebug.so" >> /etc/php5/apache2/php.ini

Para comprobar que ha sido cargado, podemos mirar los módulos cargados de PHP:

1
2

# php -m | grep Xdebug
Xdebug

O bien en la información general:

1
2

# php -i | grep Xdebug
with Xdebug v2.1.2, Copyright (c) 2002-2011, by Derick Rethans

Si filtramos en minúsculas para la información general, podemos ver todas las opción de configuración:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

# php -i | grep xdebug
xdebug
xdebug support => enabled
xdebug.auto_trace => Off => Off
xdebug.collect_assignments => Off => Off
xdebug.collect_includes => On => On
xdebug.collect_params => 0 => 0
xdebug.collect_return => Off => Off
xdebug.collect_vars => Off => Off
xdebug.default_enable => On => On
xdebug.dump.COOKIE => no value => no value
xdebug.dump.ENV => no value => no value
xdebug.dump.FILES => no value => no value
xdebug.dump.GET => no value => no value
xdebug.dump.POST => no value => no value
xdebug.dump.REQUEST => no value => no value
xdebug.dump.SERVER => no value => no value
xdebug.dump.SESSION => no value => no value
xdebug.dump_globals => On => On
xdebug.dump_once => On => On
xdebug.dump_undefined => Off => Off
xdebug.extended_info => On => On
xdebug.file_link_format => no value => no value
xdebug.idekey => root => no value
xdebug.manual_url => http://www.php.net => http://www.php.net
xdebug.max_nesting_level => 100 => 100
xdebug.overload_var_dump => On => On
xdebug.profiler_aggregate => Off => Off
xdebug.profiler_append => Off => Off
xdebug.profiler_enable => On => On
xdebug.profiler_enable_trigger => On => On
xdebug.profiler_output_dir => /var/www/webgrind/tmp => /var/www/webgrind/tmp
xdebug.profiler_output_name => cachegrind.out.%t.%p => cachegrind.out.%t.%p
xdebug.remote_autostart => Off => Off
xdebug.remote_connect_back => Off => Off
xdebug.remote_cookie_expire_time => 3600 => 3600
xdebug.remote_enable => On => On
xdebug.remote_handler => dbgp => dbgp
xdebug.remote_host => 127.0.0.1 => 127.0.0.1
xdebug.remote_log => no value => no value
xdebug.remote_mode => req => req
xdebug.remote_port => 9000 => 9000
xdebug.scream => Off => Off
xdebug.show_exception_trace => Off => Off
xdebug.show_local_vars => Off => Off
xdebug.show_mem_delta => Off => Off
xdebug.trace_format => 0 => 0
xdebug.trace_options => 0 => 0
xdebug.trace_output_dir => /tmp => /tmp
xdebug.trace_output_name => trace.%c => trace.%c
xdebug.var_display_max_children => 128 => 128
xdebug.var_display_max_data => 512 => 512
xdebug.var_display_max_depth => 3 => 3

Activando configuraciones en Xdebug

Para generar información de depuración, debemos activar como mínimo las siguientes configuraciones de la familia xdebug.profiler_*:

• Primero escribimos la cabecera de configuraciónpara xdebug:
  ^?Ver código BASH

  1	# echo "[xdebug]" >> /etc/php5/cli/php.ini

• xdebug.profiler_enable activa el perfilador de xdebug para que genere archivos de perfilado en un directorio de salida. Estos archivos puedes leerse por programas visualizadores gráficos de llamadas como KCacheGrind o Webgrindque será explicado más adelante. Esta configuración también puede habilitarse mediante la función ini_set() por lo que resulta interesante para activar selectivamente el perfilador en nuestras aplicaciones. Se activa con:
  ^?Ver código BASH

  1	# echo "xdebug.profiler_enable = 1" >> /etc/php5/cli/php.ini

• xdebug.profiler_enable_triggerpermite generar archivos de perfilador usando el parámetro XDEBUG_PROFILE por peticiones GET/POST o establecer una cookie. Lo activamos con:
  ^?Ver código BASH

  1	# echo "xdebug.profiler_enable_trigger = 1" >> /etc/php5/cli/php.ini

• xdebug.profiler_output_dir el valor por defecto donde el perfilador escribira su salida. Debe tener permisos de escritura para PHP y no puede ser establecida con ini_set(). Para propósitos posteriores, la estableceremos como:
  ^?Ver código BASH

  1	# echo 'xdebug.profiler_output_dir = "/var/www/webgrind/tmp"' >> /etc/php5/cli/php.ini

• xdebug.profiler_output_name determina el nombre del archivo usado para las trazas de depuración. La configuración especifica el formato del nombre con los especificares de formato que son muy similares a sprintf() y strtime(). Por defecto es cachegrind.out.%p. Existe un un listado completo de los especificadoresdocumentados. Lo configuramos con:
  ^?Ver código BASH

  1	# echo "xdebug.profiler_output_name = cachegrind.out.%t.%p" >> /etc/php5/cli/php.ini

La configuración mínima recomendada que resultaría al final del php.ini quedaría como:

1
2
3
4
5
6
7
8

zend_extension = "/usr/lib/php5/20090626+lfs/xdebug.so
extension=xdebug.so
 
[xdebug]
xdebug.profiler_enable = 1
xdebug.profiler_enable_trigger = 1
xdebug.profiler_output_dir = "/var/www/webgrind/tmp"
xdebug.profiler_output_name = cachegrind.out.%t.%p

Si queremos activar ademas la depuración remota en un puerto y máquina (o bien en la misma), usaremos la familia de configuraciones xdebug.remote_*. Las mínimas recomendadas son:

• xdebug.remote_enable si esta activado, Xdebug tratará de contactar con el cliente que este escuchando en el puerto y host configurad. Si la conexión no puede ser establecidad, el script continuará ejecutado como si estuviera desactivado. Lo activamos con:
  ^?Ver código BASH

  1	# echo "xdebug.<a title="xdebug.remote_enable config option" href="http://xdebug.org/docs/all_settings#remote_enable" target="_blank">remote_enable</a> = 1" >> /etc/php5/cli/php.ini

• xdebug.remote_host selecciona el host donde el cliente de depuración se ejecutará. Puede utilizar un nombre de host o una dirección IP. Lo configuramos con:
  ^?Ver código BASH

  1	# echo "xdebug.remote_host=127.0.0.1" >> /etc/php5/cli/php.ini

• xdebug.remote_port el puerto al que Xdebug tratara de conectar en el host remoto. Por defecto es el puerto 9000, para el cliente y cliente de debug integrado. Lo configuramos con:
  ^?Ver código BASH

  1	# echo "xdebug.remote_port=9000" >> /etc/php5/cli/php.ini

• xdebug.remote_handler puede ser ‘php3′ que selecciona el depurador antiguo para PHP3, tambiíen puede ser ’gdb’ que habilita el depurador GDB o bien el protocolo de depuración con ‘dbgp’. El protocolo de depuraciónesta por lo general más soportado por los clientes. Lo configuramos con:
  ^?Ver código BASH

  1	# echo "xdebug.remote_handler=dbgp" >> /etc/php5/cli/php.ini

Puedes ver más información en la introducción al depurado remoto de Xdebug.

Por lo que el resultado final sería:

1
2
3
4
5
6
7
8
9
10
11
12

zend_extension = "/usr/lib/php5/20090626+lfs/xdebug.so
extension=xdebug.so
 
[xdebug]
xdebug.profiler_enable = 1
xdebug.profiler_enable_trigger = 1
xdebug.profiler_output_dir = "/var/www/webgrind/tmp"
xdebug.profiler_output_name = cachegrind.out.%t.%p
xdebug.remote_enable=true
xdebug.remote_host=127.0.0.1
xdebug.remote_port=9000
xdebug.remote_handler=dbgp

Instalando KCacheGrind

KCacheGrind es un programa de escritorio (en especial para diseñado para KDE, pero compatible para GNOME) escrito para visualizar los archivos de depuración generados por xdebug. Es un frontend de Callgrind, que a su vez usa en tiempo de ejecución al framework de Valgrind para simulación de caches y generación de las llamadas gráficas. Un aspecto a recalcar es que incluso las bibliotecas compartidas que son abiertas dinamicamente son perfiladas. Podemos abrir con el archivos de depuración con formato Callgrind generados con xdebug de forma bastante rápida.

Para instalarlo simplemente:

1

$ sudo apt-get install kcachegrind

Por ejemplo podemos crear un archivo con la información de PHP para ver un ejemplo sencillo de depuración y ejecutarlo para que se genere un archivo cachegrind.out, que podamos abrir con KCacheGrind:

1

# echo "<?php phpinfo(); ?>" >> /var/www/phpinfo.php

Como resultado, obtendríamos un grafo y los tiempos de ejecución globales y relativos implicados:

Es una aplicación bastante notable, pero en su lugar es más recomendable usar Webgrind como frontend web, que veremos a continuación.

Instalar webgrind

Webgrind es un perfilador gráfico de PHP via web escrito en PHP por Joakim Nygård y Jacob Oettinger. Tiene como dependencia Xdebug ya que es en realidad un wrapper web no completo de las funciones de KCacheGrind como reemplazo de frontend web de xdebug (existe incluso una proposición de Google Summer of Code aceptada por Chung-Yang Lee).

Su apareciencia es simple y agradable para depurar aplicaciones PHP. Es multiplataforma (al ser vía web) y permite seguimiento de los tiempos empleados por cada llamada de función, por coste de ellas misma o coste inclusivo (el coste inclusivo es el tiempo dentro de la función mas llamadas internas de esa función a otras).

También permite ver tiempo de llamadas internas y llamadas de usuario diciendo la llamada por la que fue invocada previamente.

Descargamos la aplicación de github, ya que en el momento de escribir este artículo están haciendo una migración de google code a github (también puedes hacer un checkout del repo, aunque puede ser inestable):

1

$ wget https://github.com/downloads/jokkedk/webgrind/webgrind-release-1.0.zip

Descomprimos:

1

$ unzip webgrind-release-1.0.zip

En ubuntu el DocumentRoot de Apache esta establecido por defecto en /var/www según /etc/apache2/sites-available/default

Luego, copiaremos los fuentes de webgrind y crearemos los archivos temporales que configuramos como directorio de salida en el perfilador de Xdebug:

1
2
3

$ sudo mv webgrind /var/www
$ sudo mkdir /var/www/webgrind/tmp
$ sudo chmod 777 /var/www/webgrind/tmp

Editamos el archivo de configuración e introducimos la ruta de directorio de salida de xdebug:

1

$ sudo vi /var/www/webgrind/config.php

Busca las variables $storageDir y $profilerDir y escribe:

1
2

static $storageDir = '/var/www/webgrind/tmp';
static $profilerDir = '/var/www/webgrind/tmp';

Nos aseguramos de todos los archivos tienen los permisos de grupo correctos de Apache:

1

$ sudo chown -R www-data.www-data /var/www/webgrind/

Si además queremos que no se creen archivos de depuración para el propio webgrind, creamos un archivo .htaccess en el directorio de webgrind desactivandolo:

1

php_flag xdebug.profiler_enable 0

Para entrar a la interfaz web de Webgrind, simplemente escribe en tu navegador http://localhost/webgrind/ y aparecerá disponible un listado de archivos cachegrind* donde podemos ver la traza y tiempos de depuración del perfilador: