Adicionalmente hay que tener en consideración que si usas MariaDB se tiene que utilizar una versión superior a la 5.5, puedes instalar MariaDB 10

Realizando una prueba en una maquina virtual con windows logre realizar la instalación sin nada adiciona, excepto que instalando ruby 2.5.7 en lugar de la version 2.6.5 eso permite instalar la gema mysql2 sin problemas.

Encontré información que indica que hay que instalar esta librería para que la gema de mysql2 se pueda instalar, no tengo Windows 10 a mano para poder probarlo si alguien puede hacer una prueba, favor deje sus comentarios aquí

http://www.msys2.org/