Computer vision for everyone

¡Buenas! ¿Como andan tanto tiempo!? La verdad es que pasó bastante tiempo desde el último episodio que grabé y lo más increíble es que todavía seguimos con esta maldita pandemia! 

Espero que ustedes esten bien, y bueno, parece que nos vamos a tener que seguir cuidando por un tiempo más. Esperemos que no sea mucho y que a futuro esto nos quede como una mezcla de anécdota y pesadilla.

Bueno, hoy les quiero hablar de un proyecto muy lindo, en el que tuve la suerte de poder participar, y también de cómo la inteligencia artificial puede estar presente en lo cotidiano y ser accesible para muchas personas, sin importar que sea o no muy tecnológicas. Me refiero a que pueda ser usada por cualquier madre, padre, prima o cuñado. 

Inteligencia artificial en la palma de tu mano

En este caso el requisito sería que tenga un smartphone… pero bueno, hoy en día creo que hay más teléfonos que personas en el mundo así que no creo que sea el problema.

Pero antes, déjenme recordarles que se pueden suscribir al podcast en Apple Podcast, Google Podcast, Spotify o la plataforma de podcast que mas les guste para enterarse cuando salga un nuevo episodio, y que si me quieren contactar lo pueden hacer desde el sitio pochocosta.com o por twitter donde me encuentran como @pochocosta.

Ahora sí, vamos con el tema.

Les cuento que hace unos días se ha lanzado una aplicación en la que estuve trabajando como parte de Shifta y que hemos desarrollado en conjunto con Microsoft y con la famosisima cocinera Narda Lepes.

La aplicación se llama Comé+Plantas y tiene como objetivo que podamos conocer, aprender y comer más vegetales. 

Cuando les decía que el proyecto era muy lindo, es porque si logramos que la gente consuma más vegetales, vamos a estar logrando reducir el riesgo de padecer obesidad, diabetes y muchas otras enfermedades.

Nosotros acá en Argentina, según datos de un informe de Unicef, ocupamos el segundo lugar de la región en sobrepeso infantil en menores de 5 años. Y eso es terrible, porque tener problemas de sobrepeso a esa edad puede traerles muchos problemas después.

Y después otros datos curiosos que aprendí trabajando en este proyecto es que según datos del mercado central de buenos aires, hay 5 hortalizas que representan el 82% del total que se consume en el país. Y son la papa, el tomate, la cebolla, el zapallo y la zanahoria. O sea que entre TOOODO el resto de las hortalizas, se reparte el 18% restante. Muy loco!

Después para quienes les gustan los datos numéricos como a mi, hay cuatro frutas que representan el 65% de las que comemos. A ver si adivinan! Les doy tres segundos para pensar.

1º Naranja, 2º mandarina, 3º manzana y 4º banana.

Pero bueno, más allá de estos datos, la idea es que la aplicación sea simple de usar y que con pequeños tips podamos aprender trucos fáciles para preparar las verduras, combinarlas con otros ingredientes y preparaciones para hacer comidas más ricas, ¿no?.

Y bien, nosotros lo que teníamos en claro es que la aplicación tenía que ser fácil de usar para cualquier persona, sin importar la edad. Entonces por eso usamos un formato al que mucha gente está acostumbrada a ver, que es como los estados de Whatsapp o las stories de Instagram para mostrar los tips que Narda propuso para los vegetales.

Y bueno entonces la información y los tips de las frutas y verduras van pasando de una manera amigable como si fueran los post de la gente que seguís en redes sociales. Así que esa parte creo que se logró, porque bueno, se sabe que ese formato tuvo mucho éxito cuando apareció en Snapchat y por eso se terminó replicando por todas partes.

Reconocimiento de imágenes para frutas y verduras

Y bueno ya después siguiendo con otras funciones de la aplicación, está la posibilidad de sacarle una foto a alguna fruta o verdura para que la aplicación te diga que es, y entonces ahí puedas ver el origen, en que época está más rica, algunos tips, con qué combina bien, y bueno esas cosas como para informarnos un poco.

Creo que esta función llegó en un buen momento, porque con esto de la cuarentena se puso muy de moda comprar esos bolsones de verduras que te traen a tu casa y muchas veces recibis cosas que no sabes ni que son ni cómo se comen y poder sacarle una foto para reconocerlas y saber cómo usarlas está bastante bueno.

Acá es donde también hay algunas cosas interesantes para contar porque uno de los objetivos propuestos por Microsoft para este proyecto era democratizar el acceso a la inteligencia artificial, y con esta aplicación, que es gratuita es como que se está poniendo al alcance de la mano, en la casa o en la cocina de cualquiera una herramienta como para que la gente que no es tan techie vaya experimentando.

Pero bueno, si estamos acá escuchando este podcast, es porque nos gusta el machine learning y nos interesan estas cosas así que ahora hablemos un poco de este problema específico de clasificación de imágenes.

Visión por computadora hecha fácil

La herramienta provista por Microsoft para resolver este problema se llama Custom Vision y se puede usar tanto para clasificación de imágenes como para detección de objetos.

La verdad que si el objetivo de Microsoft es democratizar la inteligencia artificial con esta herramienta están bastante cerca de lograrlo. Y esto lo digo En serio, sinceramente me parece que hacer un modelo de clasificación de imágenes no podría ser más fácil.

Una vez que te registras, creas un proyecto y ya podes crear tus etiquetas, subir imagenes y entrenar el modelo. Todo esto podes hacerlo desde la interfaz web haciendo algunos clicks, o sino usando los SDK que tienen para varios lenguajes de programación.

Cuando ya tenes tu modelo entrenado podes hacer pruebas ahí mismo en la plataforma o sino podes publicarlo y consumirlo desde tu aplicación a través de una API REST.

Yo creo que es una herramienta interesante para tener en cuenta para algunos escenarios, por ejemplo si necesitas prototipar algo rápido, o si no sabrias como hacer esto mismo escribiendo código.

Obviamente que para lograr esta interfaz tan simple e intuitiva hay que sacar todo lo que la complejiza, por eso después cada cual la pondrá en la balanza y verá si le sirve para sus necesidades.

Si vos queres hacer muchos ajustes y tunear la solución a tu medida seguramente te va a convenir hacer tu propia implementación.

Pero esta bueno saber que existen estas soluciones también y en todo caso evaluar cada situación para ver si conviene o no usarlas.

Si les interesa conocer como trabajan generalmente los modelos de clasificaciones de imágenes pueden escuchar un episodio que grabé hace un tiempo que se llama “Redes neuronales convolucionales explicadas”. Les dejo el link en las notas para su comodidad, o sino lo pueden buscar a mano!

Dataset y etiquetado de datos

Pero más allá de la herramienta en sí, les voy a contar un poco cómo fue trabajar en la parte más sacrificada de todo esto que es armar el dataset y etiquetar las fotos.

En este caso teníamos que poder clasificar más de 90 frutas y verduras entonces teníamos que conseguir fotos de todas. Pero teníamos que conseguir muchas, pero muchas fotos.

El problema es que estando en cuarentena sin poder salir de nuestras casas solo podíamos ir a la verdulería que teníamos más cerca de casa y siendo una verdulería normal de barrio solo tenia las verduras más comunes.

Pero bueno haciendo trabajo en equipo y con la ayuda de familiares y amigos fuimos consiguiendo una buena cantidad de fotos como para armar un buen dataset que podamos entrenar para el día del lanzamiento.

Acá lo bueno de contar con toda esta colaboración fue poder conseguir fotos de cada fruta o verdura en distinto estado. Algunas más verdes otras más maduras. Con machucones, distintas formas. Sobre un repasador azul, sobre un mantel floreado, una mesada blanca otra negra.

Todo esto nos fue dando variedad. También está bueno que las fotos venían sacadas con distintas cámaras, con más calidad o menos calidad. O con más luz o menos luz. Enfocadas, desenfocadas.

Algunas de estas son las típicas variaciones que se suelen generar con técnicas de data augmentation. Que acá también nosotros aplicamos algunas.

Y bueno ahora la aplicación ya está productiva desde hace unos días, es totalmente gratuita y la pueden encontrar disponible en los stores tanto para Android como para iOS.

Y quiero aprovechar para agradecerle tanto a Narda Lepes como a Microsoft por confiar en nosotros. Y también a todo el equipo porque trabajamos muchísimo, y bueno gracias a eso y a que la información que tiene la app está buenísima logramos que ese lanzamiento sea un éxito y estemos #1 de descargas en solo el primer día.

Así que bueno, esto lo que quería contarles hoy. Espero que les haya gustado y en ese caso pueden dejar un comentario o un me gusta en iVoox o una reseña de 5 estrellas en Apple podcast que son lo que ayuda a que el podcast pueda ser descubierto por más personas.

Dejar recomendación en iTunes

Comentarios

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *