El estudio, que incluye 5 000 consultas individuales, compara motores de búsqueda de vídeo midiendo la cobertura de los sitios web que tienen contenido de vídeo en Europa.
El procedimiento básico es sencillo:
- Seleccionar un vídeo que buscar
- Buscarlo en un motor de búsqueda de vídeo
- Apuntar si el vídeo es encontrado
- Volver a hacer los pasos 1 a 3 para más vídeos y más motores de búsqueda de vídeo
Cinco motores de búsqueda de vídeo líderes fueron evaluados usando 1 000 vídeos distintos disponibles en Internet. Estos vídeos fueron seleccionados a partir de 100 sitios web, los cuales a su vez fueron elegidos a partir de listados de sitios web con tráfico importante publicados por Alexa, http://www.alexa.com. El listado de los 100 mejores sitios web fue realizado a partir de los 20 mejores sitios web de contenido de vídeo clasificados por Alexa, que tienen los rangos más altos de tráfico (según se registró el 22 de enero de 2009) en cada de los 5 mercados europeos más grandes (Reino Unido, Alemania, Francia, Italia y España). Los 20 mejores sitios web en cada país que tenían un número suficiente de vídeos y fueron apropiados para el estudio fueron seleccionados para las pruebas.
Posteriormente, seleccionamos 10 vídeos representativos a partir de cada sitio web e iniciamos la búsqueda en cada motor de búsqueda para cada vídeo. Si un motor de búsqueda retorna 5 de los 10 vídeos representativos, es considerado exitoso en la cobertura de aquel sitio web. Como la prueba fue diseñada para medir la cobertura, el motor de búsqueda tenía que retornar el vídeo exacto que provenía del sitio original para que sea tomado en cuenta. Además, cada consulta fue ejecutada y evaluada en todos motores de búsqueda simultáneamente antes de continuar con la próxima consulta, para que ningún motor de búsqueda tuviera más tiempo que los otros para procesar cada vídeo. Las consultas fueron ejecutadas entre el 26 de enero, 2009 y el 16 de febrero, 2009.
.
