Technology Business Related Podcast on the Tech Podcast Network

Mind Of Root: MOR - Geek Grinch 2008

Keith, Rich, and Steve — Sat, 27 Dec 2008 11:19:45 -0500

Just a little something goofy I put together for the holiday season. I had hoped to release this before the Christmas holiday, but things got hectic around the Albright homestead. I hope you enjoy.

Merry Christmas and Happy Holidays from all of us at the Mind Of Root podcast.

The Force Field: Episode 29 - The State of the IT Industry Part 1

Rick Savoia — Sat, 27 Dec 2008 01:22:06 -0500

This week we are going to talk with an IT professional and discuss how the current state of the economy will effect his business and the industry in the year ahead. Part 1 of a 4 part series.

TechPodcasts Promo Tag :10
Intro 1:15
Billboard 2:15

News and Comment segment 5:40
The Force Field was part of the second annual 24 hour Podcast Marathon hosted by Geek News Central December 20 to raise money for charity.

Enter the Technibble contest and Win! We are giving away The Computer Business Kit from Technibble (a $49 value) FREE. Listen to this episode of The Force Field for your chance to win!

Microsoft released another emergency security patch for Internet Explorer December 17. The patch, considered by Microsoft as “critical”, resolves a known security vulnerability that allows allows remote code execution if a user views on a web page with malicious code.

Commercial Break 1:00
Get Great Web Hosting at GoDaddy.com and save 10%! Listen for the discount code in the show. GoDaddy.com 1:00

Intro to Interview 2:08
In the next few episodes we will talk with resellers, service providers and other professionals in the industry and find out how their business are doing now, where they think the IT marketplace will be in the next year and what, if anything we can do to prepare ourselves for the difficult times ahead. This week we will talk with Pat Palmer and find out what he thinks. Part 1 of a four part series.

Pat Palmer Interview 22:40

Part 2 Teaser :23

Wrap up and Close :46

Comments, questions or suggestions? Send them in to comments@theforcefield.net. Feedback on this topic will be read by the host and included in future episodes of the show.

MicroPodcast en español: openSUSE 11.1 mejor que Windows

Ivan de la Jara — Thu, 25 Dec 2008 17:00:50 -0500

Papá Noel me ha traído de regalo, openSUSE 11.1. Actualicé mi xubuntu a Intrepid Ibex y automáticamente dejó de funcionar la tarjeta de vídeo. Creo que están eliminando todos los drivers y programas propietarios de todas las distribuciones para así poder llamarlas “free as freedom” que es básicamente “libre total”. Aun así se pueden configurar repositorios automáticos después…

Llevaba un año con xubuntu y no había formateado. Ya había muchas instalaciones manuales mezcladas con instalaciones a través de Synaptics por lo que entraron en conflicto entre si y no tenia ganas de complicarme arreglándolo. Desde entonces ya solo trabajo en memorias USB y “cloud computing” tan solo tenia que “hacer copia” del Home (y por ahora no lo he usado para nada) para reinstalar.

Instale Intrepid Ibex y se estropeó, por lo que decidí “probar cosas nuevas”. Estuve buscando por Google y encontré las siguientes distribuciones: Debian, Fedora, openSUSE, Mandriva y Ubuntu. Conocía también Gentoo pero no la he probado. Leí en alguna web que openSUSE había sido nominada como la mejor distribución pero no hice caso porque casi todas se basan en Debian. Así que decidí instalar Debian.

- Ubuntu Intrepid Ibex : No reconoce la tarjeta de video, mas de lo mismo.

- Debian : WTF? ¿Como puede ser posible que lo instale y no me reconozca el WIFI? No me lo puedo creer. Me parece que eso que dicen de “no es para novatos” significa “no funciona nada y todo lo tienes que instalar manualmente…”. No me explico que la supuesta distribución en la que se basan todas este tan poco avanzada. La veo de gente demasiado fanática y anclada en el pasado. Es fuerte que no incluya ni Firefox… ¿Que es una guerra a ver quien es la raza pura? Pues quedaos peleándoos que yo me voy a por otra…

- Fedora = ¡WOW pero si me detecta WIFI y la tarjeta de vídeo en alta resolución! (no 3d) ¡Encima es basada en redhat (como la mayoría de servers web) y trae mas cosas que ubuntu!

- Mandriva : Uhmm que bonito instalador… pero se bloqueó, no reconoció la resolución y es tan parecida a las demás…

- openSUSE : ¡WOW! ¡Tiene todas las aplicaciones y utilidades que le faltan a ubuntu! ¡Reconoce la webcam y la instala automáticamente! ¡Incluso la lectora de tarjetas de memoria que no conseguí hacer funcionar en ubuntu! ¡Me permite configurar la resolución sin andar tocando archivos de texto! ¡Trae configuración de firewall! ¡Un sistema sencillo de instalación! ¡Unos menús diferentes y mas útiles! ¡Configuración de la salida de vídeo! ¡No he notado diferencia en repositorios! Tanto que decían que Debian tenia la mayor comunidad, o no se que… y las versiones de ubuntu de los programas son anteriores a las de los repositorios de openSUSE. Encima esta mantenida por Novell que es una empresa en condiciones y quieres algo aun mejor puedes usar la versión SUSE de pago. Tiene un centro de control (llamado sistema en windows) que me recuerda totalmente a XP y la instalación de todo no me ha tardado mas que unas pocas horas para dejarlo todo perfecto. No he tenido que hacer nada manualmente, todo a base de clicks. Ha sido una experiencia que ha superado las típica instalaciones de XP y sobretodo Vista en mi sistema. Estoy mas que contento. Tiene todo lo que echaba de menos en Ubuntu. Solo me queda que funcione wine perfectamente y pueda ejecutar Photoshop. Como no juego habría quedado Windows totalmente sustituido y mayormente por aplicaciones gratuitas. Tan solo hay que configurar los repositorios que te vienen para añadir automáticamente a elección, no tienes ni que buscarlos. Yo decidí no instalar cosas a mano para que no me ocurriesen de nuevo los conflictos y con esta distribución he podido hacerlo todo. Solo me falta GYachi para poder usar webcam en Yahoo messenger.

Mind Of Root: MOR 80 - Zero-Days 'til Christmas

Keith, Rich, and Steve — Thu, 18 Dec 2008 06:00:00 -0500

Recorded: December 17, 2008
Your Host: Steve Murawski and Keith Albright
Show Length: 1:26:52

This show is brought to you by Quest and Idera.

When it comes to scripting, you’re a warrior. But mighty warriors need mighty tools!

For awesome PowerShell scripting, nothing matches the might of Quest’s PowerGUI ?. Versatile and easy to use, PowerGUI ? helps you build commanding scripts that leverage PowerShell’s strength across the enterprise. Now, ruling your domain is easier than ever.

Is your scripting might equal to the challenge? Put the power in your hands. Download PowerGUI today.

Links:

Interview with Richard Campbell of DotNetRocks and RunAsRadio
Zero-Day exploit for Internet Explorer
Investing in your skillset
SSLExplorer gobbled up by Barracuda Networks
Symantec’s horrible solution to preventing their product from getting you blacklisted
AD Mapping with PowerShell and NodeXL

Read the full show notes here.

NEW! View the UStream chat log here.

Website Picks

Keith - TED - Technology Entertainment Design - Great videos by smart people on fascinating topics.

Automate your admin tasks FAST with Idera’s PowerShellPlus - THE Power Tool for PowerShell. Download a free 14-day trial at www.Idera.com/PowerShellPlus

MicroPodcast en español: Programando PHP con Geany

Ivan de la Jara — Thu, 11 Dec 2008 10:06:03 -0500

Después de descartar los frameworks para este proyecto por su curva de aprendizaje y sus problemas a la hora de posible escalado de la aplicación. Cosa que tenia en cuenta pero pensaba hacer una “prueba rápida” para mostrar antes de ver realmente las necesidades y estructura mejor en base a la utilización. Así que tendré que hacer varias versiones del sistema. Normalmente cada 4 meses las paginas que hago no tienen nada que ver con como eran esos meses atrás. Estoy totalmente convencido en que es la única forma de tener un proyecto de éxito. A pesar del grupo de “retrógrados” típico que cuando han aprendido algo no quieren cambiarlo por nada del mundo y si se lo cambias dejan de usarlo. Aunque sea solo la posición de un botón. A mi por ejemplo no me gusta esta actualización de Word Press pero creo que si ellos lo han pensado así es porque sera lo mejor, aunque yo todavía no sea capaz de verlo. Además creo que adaptarse a este tipo de cosas le hace a uno mas inteligente.

Bueno que me descentro. Programar mas fácilmente. Desde que vi la demostración de Google App Engine en la que un chico (¿Porque siempre son tan jóvenes?) mostraba como programar y hacia uso de autocompletados de código, me dije, yo quiero eso.

Siempre he usado coloreadores de código, como mucho un autocompletado de palabras pero nunca un autocompletado de código. He utilizado Dreamweaver (Que tiempos aquellos…), luego me pase al “Bloc de Notas” y a su vez a Scite de Scintillia. Todavía andaba por Windows XP. Ahora en xubuntu viene en los repositorios Geany. Un muy buen IDE, editor, coloreador, con funciones de auto completado y compilado. También puede manejar proyectos y buscar/editar sobre directorios recursivamente. Muy completo y de muy muy poco peso. Ocupa tan solo un poco mas que una instancia de Scite pero tiene pestañas y ahorra mucha memoria teniendo varios archivos abiertos. Al menos en linux.

Hoy estuve buscando formas de conseguir el tema de la completado automático. No es la primera vez que me pasa en linux (que no es como windows) que pienso en que al programa le hace falta algo, busco otro programa y resulta que el propio programa que utilizo tiene esa posibilidad ya sea pulsando alguna tecla, mediante plugins o tocando algún archivo.

El problema también es que no aparece para ser configurado en la configuración, ni se menciona. Es mas, ni siquiera se llama autocompletado, ni code autocompletion, se llaman snippets (algo así como trozos o datos sueltos). Aquí tenéis un ejemplo, son totalmente configurables editando el archivo de configuración:

El programita promete puesto que no es ni una versión 1.0. Yo he compilado la que viene en el SVN por si no tenia estas opciones, ya que la que viene en los repositorios es algo antigua. No entiendo porque no hacen algo para que descargue directamente desde el svn y se instale automáticamente.

Para utilizarlo hay que pulsar en la tecla TAB teniendo tu archivo configurado en el lenguaje que vayas a utilizar. A veces abres un archivo nuevo y no esta configurado porque no tiene la extensión o no has usado una plantilla para crearlo y por tanto hay que configurarlo en Documento / Tipo de Archivo.

Si quieres editar los Snippets puedes hacerlo en /usr/local/share/geany/snippets.conf o hacerte una copia en ~/.config/geany/snippets.conf para configurarlo solo en tu usuario. No como dice en el tutorial, la ruta ha cambiado en la ultima versión.

Yo por ejemplo programo sin tabulaciones, ni espacios. Elimino toda la posible “basura” que no sirve mas que para ocupar tiempo de proceso y espacio en memoria. Realmente las reglas del código bonito están un poco antiguas teniendo ahora los coloreadores de código, cerrados de llaves y demás. Al ser scripting no me compensa ponerlo bonito, no voy a “vender” el código. Quiero que vaya rápido tanto hacerlo como procesarlo.

Podéis descargar de aquí la configuración para los Snippets de Geany. Podréis hacer lo mismo que viene en el vídeo.

Lo que pasa en esa configuración es que separa PHP de HTML y como todos sabemos PHP tiene HTML embebido por lo que no funciona correctamente. Así que yo me he hecho este archivo de configuración:

[PHP]
# Little php snippets written by Atanas Beloborodov <nasko@cod3r.org>
#Some php5 object`s usefull snippets
class=class %cursor% {\npublic function __construct(){\n}\npublic function __destruct(){\n}\n}
interface=interface %cursor% %block%
static=public static function %cursor%() %block%
public=public function %cursor%()%block%
protected=protected function %cursor%()%block%
private=private function %cursor%()%block%
#Control structures :
for=for ($i = 0; $i < %cursor%; $i++ %block%
while=while (%cursor%) %block%
if=if (%cursor%) %block%
switch=switch (%cursor%) {\ncase ”;\nbreak;\ndefault :\nbreak;\n}\n
else=if (%cursor%) %block%else %block%
elseif=if (%cursor%) {\n}\nelseif () {\n}\nelse {\n}\n
do=do %block%while (%cursor%);
foreach=foreach (%cursor%) %block%
# Include methods
# Note : require and include is not functions ! Not required braces ()
req=require “%cursor%”;
reqo=require_once “%cursor%”;
inc=include “%cursor%”;
inco=include_once “%cursor%”;
# Others :
function=function %cursor%() %block%
def=define (’%cursor%’,”);
throw=throw new Exception (’%cursor%’);e%
html=<html>\n%cursor%\n</html>
head=<head>\n%cursor%\n</head>
java=<script type=”text/javascript”>\n%cursor%\n</script>
java2=<script type=”text/javascript” src=”%cursor%”></script>
css=<style type=”text/css”>\n%cursor%\n</style>
css2=<link rel=”stylesheet” type=”text/css” href=”%cursor%” />
rss=<link rel=”alternate” type=”application/rss+xml” title=”%cursor%” href=”" />
title=<title>%cursor%</title>
utf=<meta http-equiv=”Content-Type” content=”text/html; charset=UTF-8″ />
body=<body>\n%cursor%\n</body>
# table
table=<table>\n<thead>\n<tr>\n<th>%cursor%</th>\n</tr>\n</thead>\n<tbody>\n<tr>\n<td></td>\n</tr>\n</tbody>\n</table>
td=<td>%cursor%</td>
tr=<tr>%cursor%</tr>
th=<th>%cursor%</th>
caption=<caption>%cursor%</caption>
# form
form=<form action=”%cursor%” method=”post”>\n<input type=”submit” value=”Zapisz” />\n</form>
label=<label for=”%cursor%”></label>
input=<input type=”text” name=”%cursor%” id=”" />
pass=<input type=”password” name=”%cursor%” id=”" />
textarea=<textarea name=”%cursor%” cols=”50″ rows=”10″ id=”" ></textarea>
select=<select name=”%cursor%” id=”">\n<option value=”"></option>\n</select>
radio=<input type=”radio” name=”%cursor%” value=”" />
checkbox=<input type=”checkbox” name=”%cursor%” value=”" />
# list
ul=<ul class=”%cursor%”>\n<li></li>\n</ul>
ol=<ol class=”%cursor%”>\n<li></li>\n</ol>
li=<li>%cursor%</li>
# inline
span=<span class=”%cursor%”></span>
em=<em>%cursor%</em>
cite=<cite>%cursor%</cite>
strong=<strong>%cursor%</strong>
img=<img src=”%cursor%” alt=”" />
anch=<a name=”%cursor%”></a>
thumb=<a href=”%cursor%”><img src=”" /></a>
# block
div=<div class=”%cursor%”></div>
h1=<h1>%cursor%</h1>
h2=<h2>%cursor%</h2>
h3=<h3>%cursor%</h3>
h4=<h4>%cursor%</h4>
h5=<h5>%cursor%</h5>
h6=<h6>%cursor%</h6>
p=<p>%cursor%</p>
pre=<pre>\n%cursor%\n</pre>
code=<code>\n%cursor%\n</code>
quote=<blockquote>\n<p>\n%cursor%\n</p>\n</blockquote>
# other
cmt=<!–\n%cursor%\n–>
br=<br/>
hr=<hr/>
1s= 
3s=   
7s=       

Hay cosas que sobran y que no son de PHP pero tampoco me quería poner a revisar todo el código y dejarlo perfecto. Solo he quitado unas funciones que venían para django.

Mind Of Root: MOR 79 - Trust But Verify

Keith, Rich, and Steve — Thu, 11 Dec 2008 06:00:00 -0500

Recorded: December 10, 2008
Your Host: Keith Albright, and Rich Niemeier
Show Length: 55:46

This show is brought to you by Quest and Idera.

Automate your admin tasks FAST with Idera’s PowerShellPlus - THE Power Tool for PowerShell. Download a free 14-day trial at www.Idera.com/PowerShellPlus

Links:

Read the full show notes here.

NEW! View the UStream chat log here.

Website Picks

Rich - Netlingo - Learn what your kids are saying in their text messages

Keith - Stack The Memory music video More geek music goodness.

When it comes to scripting, you’re a warrior. But mighty warriors need mighty tools!

Is your scripting might equal to the challenge? Put the power in your hands. Download PowerGUI today.

MicroPodcast en español: APIs y redes sociales

Ivan de la Jara — Wed, 10 Dec 2008 15:31:28 -0500

Hoy día el uso de APIs se esta haciendo prácticamente imprescindible para tener un negocio de éxito. No solo debes tener un buen servicio sino que además debes compartirlo de forma potente y sencilla.

Hay múltiples formas de hacer una API pero como podemos ver en esta estadística de programableweb el mas usado es el método REST.

¿Que es REST? La wikipedia lo explica al dedillo en buena amplitud. Básicamente se trata de hacer las funciones mediante url rewrite para que tan solo con cargar esa url ya de el resultado. No haya que hacer una petición, dar información y una respuesta. Al hacer esto pueden usarse proxys para hacer de cache sobre el sistema. Simplificando el funcionamiento sobre otras tecnologías. Los datos son manejados en XML como suele ser habitual últimamente.

Todos los principales buscadores tienen su API, mas limitada o menos, con la que extraer información sin necesidad de andar parseando resultados. Total, los iban a “robar” igualmente. Así al menos no abusan y recargan mas el sistema web y se tiene mas control. Quizá muchos no lo sepáis pero Google te bloquea de su buscador si buscas como un energúmeno. A mi me ha pasado. Supongo que fue por la misma razón por la que utilizo xubuntu, porque pulso en 40 cosas a la vez y necesito disponibilidad.

Los mensajeros instantáneos también tienen APIs.

¿Que redes sociales tienen API?

Pues por ejemplo Facebook. Gracias a ello se ha convertido en una de las redes mas visitadas. El apoyo de los usuarios es importante pero aun mas importante es el apoyo de las empresas y si muchas empresas tienen intereses en facebook, es muy difícil que caiga. Sin duda hay muy buen trabajo tras facebook aunque sea un red un tanto sosa para el usuario final. Y tenga algún problemilla de privacidad.

Yo creo que con Twitter llegó la revolución en las API porque aunque Google Maps tiene su API no se pensaba hacer un API para cosas tan básicas como lo hizo Twitter. Probablemente me estoy equivocando por falta de datos… Yo pienso que con Google Maps llegaron los mashups de forma masiva pero con Twitter llegaron las API de forma masiva.

Prácticamente todas las redes sociales tienen su propia API. Muchas de ellas compatibles con Open Social: Friendster, Hi5, LinkedIn, MySpace, orkut (no ha muerto aunque para nosotros si), Twitter o Ning.

Debido a esto han salido miles de mashups que no son otra cosa que webs basadas en otras webs o servicios. Twitter tiene cientos, Google Maps, miles. Aquí tenéis un listado de mas de tres mil.

MicroPodcast en español: Prevención de abusos, ataques DDOS y estrés del servidor.

Ivan de la Jara — Wed, 10 Dec 2008 09:10:46 -0500

El simple comportamiento “normal” de un usuario puede ser perjudicial. Hay gente en las redes sociales que no sabe ocultar su imagen, entonces la borra y la vuelve a subir por cada vez que utiliza el sistema. Ya he comentado antes lo de algunos usuarios y su doble click en todos los enlaces, cargando dos veces la misma pagina.

Muchos de estos comportamientos se pueden y deben resolver mediante firewalls. Si a alguien le da por enviar basura a ciertos puertos no tienes mucho que hacer desde PHP.

En cambio también es bueno cortar esos abusos desde código. Por ejemplo si a alguien le da por hacer un bot que lea todas las paginas de un listado creará un stress en el sistema que podría hacer incluso que se cayese, si coincide con algunos otros picos. Todos conocemos el efecto “digg”. Incluso Google puede ser un poco “absorbente” a veces.

Es conveniente que cuando se nos satura mysql, que suele ser la principal razón por la que una web no responda, dar una alerta mediante un header: “Temporalmente no disponible”. Así, si por ejemplo Google esta indexando tu sitio, no indexará errores, volverá mas tarde.

Yo soy partidario de avisar correctamente al usuario de la situación exacta. Muchas veces cuando twitter se caía, ponía un mensaje un tanto confuso, hasta chistoso o incluso absurdo. Cuando es un fallo puntual debería avisarse al usuario que ha ocurrido un fallo en esa pagina, solo en esa y que puede refrescarla en unos instantes. La mayoría de webs pone un mensaje estándar de “en mantenimiento” que hace pensar en volver tras unas horas.

También puedes hacer ciertos limites como por ejemplo “una pagina por cada dos segundos” o “100 peticiones cada 10 minutos”. Así frenaras a los bots. Se puede hacer una variable de sesión como contador. Aunque el que quiera liarla podrá igualmente inventarse números de sesión para evitar esa protección. En ese momento no queda mas que banear por ip. Galli publicó un pequeño script hace algún tiempo y hace poco una buena nueva actualización. Me encanta Python.

Mucha gente lo que hace es, por ejemplo, si tu web tiene perfiles numéricos : profile.php?id=133 hace un script con un bucle y lee todos los perfiles en busca de datos. Otra cosa común es añadir muchos usuarios a favoritos o enviarles mensajes a todos. Para evitar estos problemas. Lo primero nunca ponerle un id numérico a un perfil, evitarlo poniendo sobrenombres. Así no serán palabras contiguas. Segundo, cada vez que vayas a hacer un cambio, como añadir a un usuario a favoritos, añadirle un token. Un numero o cadena “aleatorio” que sirve como control. En twitter por ejemplo no puedes añadir a “pepito”, tienes que añadir a su ID (para que sea mas rápida la búsqueda de comprobación antes de añadirlo) y además un token de control. No se realmente si en twitter el token sigue alguna lógica como ser un md4 de ese mismo id mas el nombre de usuario o es simplemente aleatorio.

Muchas protecciones deben llevarlas a cabo los administradores de sistemas. Como a uno le toca hacer de pluriempleado suele tener que informarse del control de los servidores. Muchas veces se jode y tardas en arreglarlo. Son horas fatales de mucho estrés y de recibir insultos variados… Lo ideal es que la empresa de hosting se dedique a ello, sobretodo si te lo puedes pagar.

Luego ya están los temas típicos de seguridad básica como la prevención del Sql Inyection y demás ataques.

Hace poco leí un tema interesante para prevenir el Sql Inyection en un login. Se trata de hacer una petición con el hombre de usuario, una lectura de la base. Luego comparar por php. No hacer el query incluyendo el usuario y la contraseña. Me resultó curioso. No recuerdo si buscaba por ID porque recuerdo que la forma de hacerlo era totalmente segura.

Normalmente uno se hace un filtro para verificar y recortar la libertad de los datos introducidos por el usuario pero php cada vez hace un trabajo mejor por si solo. Desde la implementación obligatoria de las variables _GET y _POST la cosa esta mas controlada y se autofiltran nada mas llegar al código. Aun así es obligatorio tener una función propia para eso, por si acaso.

Otro día mas…

MicroPodcast en español: Algo de jerga y funcionamiento de buscadores

Ivan de la Jara — Tue, 09 Dec 2008 13:26:02 -0500

Para hacer un buscador decente hay que empaparse de las peculiaridades de los mismos. Hacer un buscador no es fácil y no lo puede hacer cualquiera. Habrá que ponerle mucho ímpetu y estudiar mucho todas las posibilidades existentes. Quizá ninguna de ellas se ajuste a las necesidades del proyecto por lo que habrá que poner todo el interés en este tema.

Por poder puedes hacer una tabla mysql, meterle un fulltext y dejarlo así tal cual. Cosa que es básicamente lo que hacen todas las redes sociales. Pero eso es prácticamente una inutilidad. Si tienes 10 millones de usuarios no vas a indexar todo su contenido como si fueses Google, porque no eres Google. Así que cada vez mas empresas lo que hacen es poner un buscador de Yahoo o de Google. Igualmente los resultados son bastante penosos aunque al menos dispones de las ventajas de la plataforma. Empezando por el conocido “Quiso decir…?”

El tipo de ventajas que tienen son, entre otras, las siguientes:

Reglas de búsqueda. Como es por ejemplo el poder quitar una palabra “manzana -pera”. Esta opción esta soportada por el Full Text Search de Mysql. En cambio en Google puedes buscar por números como por ejemplo “trailer de 1000..5000 toneladas”.
StopWords. Que son básicamente esas palabras inútiles que lo único que hacen es ocupar espacio, proceso y restringir absurdamente resultados. Como por ejemplo “el coche verde”. En este caso “el” esta impidiendo frases como “mi coche verde” sin ninguna necesidad, ni aporte sustancial de información. O incluso llenarte el resultado de basura con todos los resultados que incluyan “el”, como “el mar rojo”. La forma mas común de determinar este tipo de palabras es verificar si aparecen con demasiada frecuencia en los textos.
Stemming. El Stem podría decirse que es la raíz de una palabra. Este tema es bastante complicado de realizar. Se trata de eliminar las barreras lingüísticas de ciertas palabras. Google hoy día ya lo usa por defecto. No importa que pongas “manzana” o “manzanas” que ofrecerá los mismos resultados. Pero en cambio Google lo ha implementado de forma pobre ya que es realmente difícil de implementar. En ingles mas aun. Si pones “peros” (refiriéndose a una forma andaluza de llamar a la manzana) te aparecen tanto “peros” como “perros”. Desvelando que se trata de un algoritmo basado en similitud de las palabras. Fallando por ejemplo con la palabra inglesa “person” y su plural “people”. Yo creo que la mejor forma de implementar esto no es buscar lógicas lingüísticas sino sinónimos. En mi web tenia una serie de conversiones de palabras hechas manualmente en un include para evitar la actuación tan común de los americanos en poner las iniciales de sus estados. MN = Maine. Si pones MD en la versión española de Google no aparece Maryland sino Mundo Deportivo, Marqueting Directo y demás. Probablemente han elegido palabras contiguas con una M y una D. El stemming puede llegar a limites de buscar la raíz total de una palabra como “contr” de “controlar” y aceptar también “controlable” y “controlado”. El problema es que cada idioma tiene sus reglas y a veces no son relacionables. Aun así se podrían hacer reglas para cada idioma por separado quizá mediante expresiones regulares o prefijos y sufijos obteniendo un resultado aceptable.
Respeling. Sugerencias y correcciones ortográficas. Hay varios ejemplos curiosos en los que pones una palabra correctamente escrita y te da una sugerencia mal escrita. Creo que este algoritmo se basa en similitud y cantidad de peticiones. Teóricamente sirve para lo contrario y mayormente es muy útil ¿Alguien sabe escribir Schwarzenegger? Porque yo suelo prestarle atención y se me ha olvidado la h
Sinónimos. Este es uno de los temas que mas me interesa y que menos ha sido implementado por los buscadores. Hace tiempo que esperaba que Google lo hiciese y últimamente ha empezado a hacerlo con muy poca fortuna. Es muy difícil saber que palabras tienen relación a través de un algoritmo. Las personas no son maquinas, reproducen lo que escuchan, tengo o no sentido. El día que un buscador entienda que significa “te cagas” estaremos hablando de web semántica pero dudo mucho que ese día llegue alguna vez. A menos que personas se dediquen a hacer manualmente algún tipo de conversión de palabras a conceptos y estos a su vez entendidos por un ordenador. A través de analizar diccionarios completos y luego millones de textos. Pero viendo la mala calidad de los traductores automáticos queda muchísimo para eso.
Relevancia. El orden no debe ir simplemente por “el ultimo” texto que haya sido introducido. Hay muchos factores que influyen a la hora de saber si un resultado es mas útil a otro. Yo sin duda utilizaría el numero de visitas de ese articulo como orientación. Fecha, relevancia de la web, tamaño de la pagina (si es mucho es negativo), tecnología, etc.
Información adicional. Ya no solo se ponen sugerencias en forma de palabras. Si los resultados no tienen mucha relevancia y existen otros resultados con muchísima mas relevancia con otra cadena de búsqueda, normalmente con menos palabras. Se puede poner debajo de los resultados actuales. O incluso hacer varias búsquedas, imágenes, wikipedia, tu búsqueda y una búsqueda “mejorada” sobre tu búsqueda.
Traducciones. Yo lo trataría como sinónimos o el propio stemming. Traducciones de las palabras junto a plurales y demás, aunque todavía no he visto nada similar implementado. Google probó pero la cagó en el intento. Esto va a ser muy complicado porque ni siquiera una persona puede saber si esta haciendo ese trabajo correctamente.

¿Existen programas de soft libre con todas estas implementaciones? Muchos sitios web utilizan Lucene como motor de búsqueda por su velocidad en grandes volúmenes de datos.

Probablemente seria una locura utilizar PHP para este menester. Si acaso Python. Aunque lo mas normal es C o Java como es el caso de Lucene. Lo que me extraña es que Mysql no traiga por defecto todo este tipo de cosas implementadas. Son viejas técnicas, aunque pobremente, podrían estar implementadas de alguna forma. Posibilidad tiene porque yo he utilizado funciones propias en C para ordenar mis resultados, con bastante efectividad.

Sin duda hay que estudiar este tema mas a fondo.

MicroPodcast en español: Sesiones y datos seguros

Ivan de la Jara — Tue, 09 Dec 2008 08:01:29 -0500

Este tema es algo complejo y tengo alguna experiencia pero no tanta como para saber exactamente hasta que punto llega. Acabo de darme cuenta del grave fallo de seguridad que alberga utilizar las típicas sesiones PHP. Yo tuve problemas porque hice un sistema de links en los que además de poner la sesión ponía otros datos (la sesión se puede trasmitir en PHP de forma automática por los links). Esto hizo que gente normal, usuarios, intercambiasen links y se intercambiasen entre ellos las sesiones. Fue un gran agujero de seguridad. Así que hice una comprobación de user agent e IP para verificar a la persona (solo la primera parte de la IP porque AOL cambia de IP por cada pagina). Esto imposibilitó tener la misma cuenta abierta desde dos lugares.

Estaba mirando las sesiones de Google y Twitter. Son enormes filas alfanuméricas, creo que llevan un ID de sesión y luego un id de comprobación de esa sesión que probablemente vayan cambiando frecuentemente de clave para crear ese hash.

¿Porque pienso esto? A parte de que algo deben contener esos datos es porque se me ha ocurrido que si quisiese robar los datos, aleatoriamente, de quien sea, solo por robar direcciones de email. Tan solo tendría que ir metiendo IDs de sesión aleatorios y cargar la pagina donde aparece su email. Si la web no es buena incluso se podrían robar las claves. Para evitar estos problemas normalmente se suele pedir la clave de acceso para confirmar cambios y no ponerla en ningún sitio.

Esto me lleva a una nueva pregunta. ¿Cuando una web se convierte en inmensa afecta a la forma de manejar las sesiones? ¿Cada servidor de aplicación con una copia de la web almacena un numero de sesiones y usuarios? ¿Se almacenan todas en un mismo lugar? ¿Cual es la mejor forma y mas segura de hacerlas? ¿Modificando las funciones de PHP de manejo de sesiones? ¿Creando funciones propias?

xqus da unos cuantos consejos. Pero… Cambiar el ID de sesión en cada petición o cada cierto tiempo podría ser útil pero ¿no consumiría mucho mas IO de disco? ¿Usar memcached para las sesiones? ¿Tendría sentido? Supongo que lo mejor es hacerlo cada vez que se acceda porque quizá si no se le hace un destroy se quede la información en el disco.

Viendo como maneja las sesiones esta clase es interesante porque no almacena datos en la sesión como hacia yo. Eso alivia lectura y carga. Yo le incluiría además de la sesión y el hash del user agent + “ip”, un hash de esa misma información MD5 encriptada en SHA1 creada a partir de otra palabra clave, como comprobante de concordancia de los datos. Aunque SHA1 es mucho mas lento y lo mismo estoy pecando de friki obseso sin necesidad. Quizá un MD4.

Aquí tenéis otro buen apunte resumido sobre el tema de la seguridad de las sesiones. Otro por si queréis tener algún servicio que use sesiones en algún servidor publico.

La mayoría de servicios ya no guardan ni el correo, ni la clave en cookies. Incluso están empezando a no almacenar ni siquiera el nombre de usuario. En los servicios de email suelen servir para saber cual es la dirección de correo, así que hay virus que los usan para enviar spam. Sobretodo desde que los navegadores manejan las claves por si mismos. Aunque suele ser solo en las cajas de login que para el caso es lo mismo porque hay otros lugares donde tiene que aparecer por fuerza el nombre de usuario, sino no sabrías que cuenta estas usando.

Otro día un poco más

MicroPodcast en español: Compatibilidad entre navegadores

Ivan de la Jara — Mon, 08 Dec 2008 15:58:57 -0500

Cuando haces tu primera web, no sabes ni que existe incompatibilidad entre navegadores. Simplemente haces el primer diseño y ves que en tu navegador (normalmente IE) se ve bien y listo. Entonces llega alguien que usa Firefox y te dice “ese link/cuadro/imagen sale descentrado” y tu dices ¿que? ¡Pero si esta perfecto!

Cuando tienes un servicio con miles de usuarios online tu web ya no es que “se vea mal” es que directamente te dicen “pues tu web es una mierda porque no funciona“. ¿Como que no funciona? Si en tu navegador funciona perfectamente. “Si, pero me llenas el escritorio de publicidad! delincuente!!” ¿¡Que!?. Resulta que su sistema, normalmente windows, normalmente Explorer 6, esta lleno de virus y las culpas recaen sobre tu sitio. Incluso por haber desconectado las cookies. Mi sitio funcionaba sin cookies e incluso tenia una protección contra el robo de sesiones pero aun así le fallaba a alguna gente.

Veamos un poco de estadísticas. Por suerte y desgracia Firefox tiene ya un 20% de usuarios, yo incluido.

Es realmente difícil hacer un diseño totalmente compatible y libre de problemas. Para ello puedes usar sistemas de Web Shots, los hay gratuitos y de pago. Algunos son muy buenos permitiéndote entrar en sesiones virtuales y ver incluso si funciona el javascript.

Lo malo es que esos es muy raro que contengas emuladores de navegadores móviles o webtv. He estado investigando el tema y me ha sido muy útil el blog de sender 11. Es fuerte pensar en que el “máximo” que puedas usar sean 96 píxeles de ancho. Curiosamente son los píxeles de las imágenes de MSN ¿Casualidad?

¿Es posible hacer una sola versión para todos los navegadores? Esa es mi duda. El servicio es muy simple. ¿Seria cuestión de irse a una versión muy antigua de html? ¿Hacerlo en tablas? ¿No usar nunca javascript? ¿Es obligatoriamente necesario usar varias versiones? ¿Cuantas serian obligatorias? ¿Una versión m. y otra normal? ¿Cuantas versiones tiene Google? Según creo llega a hacerse versiones Java para evitar la incompatibilidad y reducir el numero de bytes de descarga.

Para comprobar si tu sitio funciona en los móviles existe SiteSpect, aunque me da que no es gratuito. Dice comprobar incluso el javascript. No se si existen otros servicios similares. Si conocéis alguno seria de gran ayuda: dotMobi, OperaMini.

Teóricamente todos los navegadores existentes deberían aceptar al menos una de las especificaciones del W3C. Se puede comprobar en su Validator pero muchas veces hemos oído cosas como que Explorer no es totalmente compatible con el W3C. También tienen uno para móviles, css y etc.

Supongo que lo mas habitual suele ser tener algún detector de navegador y una vez ahí poner el diseño que se estime oportuno. Hay muchos scripts para ello.

Pero sigo teniendo la misma duda ¿Es posible hacer un solo y simple diseño que sea visible en todos los navegadores? ¿HTML 1.0? ¿Forzar a los navegadores nuevo a renderizar la pagina como si fuesen antiguos? He tenido malas experiencias al utilizar DOCTYPE imposibilitando ver la pagina en determinados dispositivos…

En fin, esta como tantas cuestiones solo puede comprobarse mediante la experiencia…

MicroPodcast en español: Un apunte sobre el nuevo diseño de Youtube

Ivan de la Jara — Sun, 07 Dec 2008 04:55:14 -0500

Hace un par de días que ando quejándome de lo feo que es el nuevo diseño de youtube, con esa barra horrible azul cuadriculada en la que han metido las principales opciones (esas que yo nunca uso). Pero dentro de ese horrible cambio han metido dos buenas cosas. Una ha sido ponerle el tiempo a las miniaturas. Ahorra tiempo saber la duración. Supongo que lo han puesto porque ahora están aceptando vídeos de mas duración y resolución. Pero lo que mas me ha gustado hoy ha sido que han tapado los comentarios. Creo que esto podría servir de ejemplo a muchos blogs. Creo que han encontrado la forma de hacer que un blog o web con comentarios públicos no parezca un estercolero de enfermos mentales. Tapando los comentarios das un buen look al diseño, lo haces mas sencillo, dejas la opción de comentar posible y limpias la pagina. Es la mejor formula que he visto para la problemática de los comentarios basura. Libertad de expresión, si, siempre, pero para quien quiera verla, para quien quiera opinar, pero no para todos. Un acierto. Quizá esta debería ser la opción que elijan blogs como el de Enrique Dans o el que debiera haber elegido Mobuzz para evitar la marabunta de salvajes…

Teóricamente este script lo permite en WordPress aunque no lo he probado. No tengo tantos comentarios jejeje Ya tengo “filtro de insultos” y funciona bastante bien. Estoy la mar de tranquilo desde que modifique el plugin anti HOYGANs y puse palabrotas en el… No es censura porque permite dejar el comentario pero frena los impulsos asesinos bastante bien.

Actualización:

Parece que lo han quitado, supongo que la gente es tan torpe que no encuentra los comentarios. Es logico y baja las respuestas pero no creo que sea como para ponerlo como antes…