1. Obtener los metadatos (nombre , tipo, codificación e idioma)
2. Extraer todos los enlaces que aparecen
3. Generar un fichero con las ocurrencias de cada término, ordenados de forma descendente
4. Generar una gráfica con los términos y su ocurrencia
** Instalación
Implementamos la práctica usando /Java/ como lenguaje de programación, y /Maven/ como herramienta de gestión del proyecto. No es necesario utilizar esta herramienta, pero nos ofrece una mayor reproducibilidad del proyecto.
En el caso de que deseemos instalar fácilmente todas las dependencias, podemos instalar el gestor de paquetes [[https://nixos.org/guides/install-nix.html][Nix]] (compatible con Linux, MacOS y WSL)
*** Usando Nix
1. Instalamos Nix:
#+BEGIN_SRC shell
sh <(curl -L https://nixos.org/nix/install) --daemon
#+END_SRC
2. Cambiamos la ruta al directorio del proyecto:
#+BEGIN_SRC shell
cd P1
#+END_SRC
3. Entramos en el entorno de desarrollo reproducible y aislado:
#+BEGIN_SRC shell
nix-shell
#+END_SRC
Nix se encargará de resolver las dependencias, podemos dirigirnos directamente a la sección de ejecución.
Tal y como podemos observar en la sección previa de ejecución, hemos optado por añadir un argumento para elegir la acción que deseamos realizar. En caso de que se omita éste, las instrucciones de ejecución aparecen por pantalla.
System.out.println("option metadata: shows the filename/file type/encoding and language of the files");
System.out.println("option links: shows all the links contained in each file");
System.out.println("option frequency: saves word frequency to a file");
System.exit(1);
}
public static void main(String[] args) throws IOException, TikaException, SAXException {
if (args.length != 2) {
usage();
}
String directory = args[0];
String action = args[1];
readFiles(directory);
chooseAction(action);
}
#+END_SRC
Esta funcionalidad permite al usuario seleccionar la salida que desea, además de disminuir el contenido que aparece por pantalla y el tiempo de ejecución (dado que no computamos acciones innecesarias).
En el caso de la opción /frequency/, guardamos las ocurrencias de los términos en un fichero en el directorio *output* con el formato /filename.dat/. Utilizaremos estos archivos para generar las gráficas.