El friki

Chris Schmandt '73, SM '80, pasó cuatro décadas jugando en el Media Lab, inventando interfaces de voz interactivas para computadoras y el primer sistema de navegación en el automóvil que les decía a los conductores a dónde ir. 24 de abril de 2019 Foto de Christopher Shcmandt

Foto de Christopher Shcmandt Jake Belcher





Cuando Chris Schmandt era estudiante universitario en el MIT en 1977, vio un anuncio para un trabajo en el campus haciendo programación de gráficos en PL/I. Pagaba la misma cantidad que su trabajo de hacer hamburguesas en la cafetería, había aprendido el lenguaje de programación PL/I como estudiante de ingeniería y ciencias de la computación, y le gustaba la idea de un trabajo que no requería ducharse al final. de cada turno. Así que se fue a trabajar para el Architecture Machine Group (AMG) de Nicholas Negroponte, el precursor del MIT Media Lab.

El trabajo consistía en programar un búfer de cuadros Modelo 85, que fue uno de los primeros sistemas de gráficos por computadora que podía generar un cuadro de píxeles de colores, lo que permitía que la máquina mostrara texto, gráficos, diagramas e incluso fotos en color. Pero primero, alguien necesitaba escribir el microcódigo de bajo nivel para el controlador del búfer de cuadros. Alguien tuvo que conseguir las fuentes y codificarlas también. Esa persona era Schmandt. Empecé a pintar píxeles en la pantalla y me enganché, dice.

Ese trabajo tuvo enormes ramificaciones, no solo para Schmandt sino para todos nosotros: su trabajo finalmente condujo al desarrollo de sistemas de navegación modernos como Garmin GPS y Google Maps, así como las interfaces de voz que las personas usan cada vez más para interactuar con las computadoras. .



Foto del dispositivo para tomar notas desarrollado por Christopher Schmandt

El Audio Notebook, que el laboratorio de Schmandt desarrolló alrededor de 1997, vinculaba las notas en papel tomadas en un evento con una grabación de audio digital. Cortesía de MIT Media Lab

Recuerdo muy claramente que Nicholas les estaba diciendo a todos que algún día todas las computadoras tendrían uno de estos integrados, dijo Schmandt sobre el búfer de cuadros en la celebración de su jubilación en diciembre de 2018. Fue profético, pero no dijo que todos los teléfonos tendrían ¡una!

Una ruta tortuosa al laboratorio

El innovador trabajo de Schmandt que integra el habla y la computación casi no se llevó a cabo. Comenzó en el MIT en 1969, y si se hubiera graduado con su clase de ingreso en 1973, es posible que nunca se hubiera encontrado con el búfer de cuadros. Pero en 1971, se especializó en estudios urbanos, se enamoró de la lingüística y casi completó una licenciatura en humanidades... y estaba investigando en meteorología a través del Programa de Oportunidades de Investigación de Pregrado (UROP) del MIT. Decidí que no sabía lo que estaba haciendo, dice.



Así que se retiró de la escuela para averiguarlo y convirtió su UROP en un trabajo de tiempo completo en el departamento de meteorología, transportando tarjetas perforadas al centro de cómputo en un carrito de compras. En poco tiempo, había aprendido lo suficiente sobre programación para corregir errores tipográficos en las tarjetas, lo que le permitió evitar tener que cruzar el campus por segunda vez para que su jefe pudiera corregirlos. Pero Schmandt pronto sintió pasión por los viajes y emprendió lo que sería un viaje de cinco años. Viajó —principalmente haciendo autostop— desde Londres a España, Marruecos, Argelia, Níger, Camerún, Zaire, Uganda y Kenia, donde la policía lo reprendió por no hablar swahili, y trepó hasta 19,000 pies en una cresta que conduce al cumbre del Everest. Nunca has visto algo así: enormes picos nevados a tu alrededor, mirando hacia tres glaciares, dice. Y por la noche los glaciares cantan y gimen mientras descienden lentamente por los valles.

Viajando por lo que se conocía como Hippie Trail en la India, conoció a algunos programadores británicos y australianos, quienes lo convencieron de que la programación era un buen medio de vida que se podía conseguir en cualquier lugar. Entonces, en 1977, regresó al MIT y se reinscribió como estudiante de ingeniería eléctrica e informática.

Ponerse a trabajar en el búfer de cuadros convenció a Schmandt de que había sido una buena decisión. El búfer de cuadros fue uno de los primeros sistemas de gráficos por computadora que no parpadeaba cuando la imagen en la pantalla se volvía más compleja, una hazaña que logró mediante el almacenamiento en búfer o el almacenamiento de toda la pantalla en una memoria dedicada. Con 400 filas de 512 píxeles cada una, el búfer de cuadros requería más de 200 000 bytes de memoria de acceso aleatorio, lo cual era increíblemente costoso en ese momento. Así que Schmandt tuvo que escribir un programa para ejecutar el Modelo 85 que encajara en la memoria limitada que tenía disponible.



Esto fue realmente algo geek, incluso para el AMG, recuerda Schmandt. Para burlarse de él, uno de sus compañeros de laboratorio eventualmente pirateó el sintetizador del laboratorio, programándolo para producir una breve fanfarria musical y decir ¡Geek! cuando Schmandt inició sesión. Aceptó alegremente su nuevo apodo.

El laboratorio de Negroponte estaba creando un entorno informático llamado Sistema de gestión de datos espaciales (SDMS) que permitiría a una persona usar la mirada, los gestos y la voz para interactuar con una base de datos que contiene texto, fotos, mapas e incluso videos. Ubicada en el Departamento de Arquitectura y generosamente apoyada por la Agencia de Proyectos de Investigación Avanzada de Defensa de los EE. UU. (DARPA) y patrocinadores corporativos, la AMG estaba repleta de equipos, ideas y dinero. Entonces, cuando Schmandt completó su licenciatura en 1979, se quedó para obtener una maestría en arquitectura en 1980.

El laboratorio tenía un montón de cosas realmente geniales gracias al proyecto SDMS y al apoyo de DARPA, dice. El reconocedor de voz NEC DP-100 costaba 100.000 dólares. Nadie sabía cuánto costaba la válvula de luz, fue el primer sistema de proyección de video. Podría sentarme y jugar con un millón de dólares en hardware.



E imagen de Christopher Schmandt operando Put That There

En una demostración de 1980 de Put That There, Schmandt controla una computadora con voz y gestos. Cortesía de MIT Media Lab

Pon eso ahí

La curva de aprendizaje requerida para dominar cada pieza del equipo en el AMG fue empinada, por lo que Negroponte asignó a cada dispositivo una madre que sería responsable de escribir el software o construir el hardware para ayudarlo a convertirse en algo útil. Para su tesis de maestría, Schmandt adoptó una pequeña caja que, cuando se ataba a la muñeca, le decía a la computadora interactiva del laboratorio dónde estaba su muñeca y hacia dónde apuntaba. Conocido como un dispositivo de seis grados de libertad, había sido desarrollado para montarse en los cascos de los pilotos de helicópteros, quienes los usaban en simuladores para entrenamiento y sobre el campo de batalla para apuntar; hoy en día, las versiones de bajo costo se encuentran en muchos auriculares de realidad virtual.

Eric Hulteen '80, SM '82, recibió la tarea de desarrollar software para el reconocedor de voz NEC. Trabajando juntos, Schmandt y Hulteen crearon Pon eso ahí , un sistema de dibujo controlado por voz y gestos que demostraron por primera vez en 1979.

Para ejecutar Put That There, te sentarías en una silla Eames de cuero en la sala insonorizada del laboratorio. sala de prensa y apunte con la mano a la pantalla de retroproyección del tamaño de una pared de la sala, que estaba iluminada por la válvula de luz, un proyector al otro lado de la pared. Con el sensor y los micrófonos configurados, podrías decir Pon un círculo amarillo allí , y la computadora obedecería. Si no especificaba dónde debería ir el círculo, la computadora le preguntaría ¿Dónde? y esperar a que usted señale y diga ¡Ahí! Schmandt dice que fue uno de los dos primeros sistemas conversacionales jamás escritos.

En 1980, Schmandt y Hulteen mejoraron Put That There: convirtieron el fondo en un mapa del Caribe y le enseñaron a la computadora a responder a comandos como Crea un carguero verde allí y mueve el crucero al norte de la República Dominicana. Esto hizo que el programa fuera aún más popular entre los patrocinadores militares del laboratorio, quienes podían sentarse en la silla Eames y representar fantasías como rodear a Cuba con acorazados y fragatas.

Jerry Wiesner era presidente del MIT y su oficina estaba un piso debajo de la nuestra, recordó Negroponte en la cena de jubilación de Schmandt. Cuando salía a almorzar, traía a sus amigos e invitados y decía: 'Oh, pasemos a ver la Máquina de la Arquitectura'... No sé cuántas personas se sentaron en esa silla, pero había muchas. .

Schmandt no tenía interés en obtener un doctorado. (No quería pasar dos años trabajando en un proyecto, dice.) Pero la investigación lo mantuvo en el MIT. Se unió al personal de AMG y en poco tiempo comenzó un grupo de investigación enfocado en desarrollar formas para que las personas interactúen con las computadoras usando el habla. El objetivo era hacer que la tecnología informática estuviera disponible fuera de un entorno de oficina.

Foto de Christopher Schmandt

Jake Belcher

Conductor asiento trasero

En 1985, AMG se transformó en Media Lab. Como miembro fundador, Schmandt ha tenido muchos estudiantes a lo largo de los años. Pero un proyecto con uno de los primeros, Jim Davis '77, PhD '89, sería uno de los de mayor alcance. Davis también había tenido un UROP en el AMG en la década de 1970, y trabajó en algunas empresas antes de regresar al Media Lab en 1985. Durante un período en la empresa emergente de supercomputadoras de Cambridge Thinking Machines el verano después de comenzar su doctorado, desarrolló un programa llamada Asistencia de dirección que podría tomar un mapa de calles detallado de una ciudad, un punto de partida y un destino, y proporcionar instrucciones paso a paso en inglés para una ruta eficiente. Entonces, lo lógico que debía hacer Davis en el laboratorio era hacer que la asistencia de dirección se ejecutara en un automóvil y diera instrucciones usando una voz sintética.

En ese momento, el GPS solo estaba disponible para los militares, dice Davis; los civiles tenían acceso a una versión con precisión degradada. NEC, un patrocinador del laboratorio, había desarrollado un sistema de navegación para automóviles que usaba navegación a estima en lugar de GPS: registraba la distancia recorrida y ajustaba los movimientos del automóvil a un mapa computarizado .

Solo funcionó con el Acura Legend, un automóvil de alta gama, dice Davis. Entonces, para hacer la investigación, ¡el Media Lab necesitaba un Acura Legend! Eso fue un gran paso adelante para ellos: Schmandt conducía una camioneta Datsun 210 para poder transportar sus esquís, y Davis ni siquiera tenía automóvil.

NEC instaló el equipo, que mostraba un mapa con un punto que mostraba la ubicación del automóvil en una pantalla integrada en el centro del tablero. Eso es horrible, explica Schmandt. Porque si algo se mueve en su campo visual periférico, tiene un reflejo muy fuerte para mirarlo, ¡podría ser un animal salvaje a punto de abalanzarse sobre usted! A Schmandt le preocupaba que una pantalla en movimiento distrajera a los conductores de mantener la vista en la carretera. Fue ver [el mapa de NEC] lo que me convenció de que aquí es donde el habla iba a lograrlo, dice. Y teníamos razón, solo 30 años antes de tiempo.

Foto de Christopher Schmandt en el celular

Schmandt, aquí con uno de los primeros teléfonos celulares, co-desarrolló un sistema de correo de voz futurista llamado Esclavo de teléfono en la década de 1980 Cortesía de MIT Media Lab

El sistema que construyeron Schmandt y Davis enviaba la posición del automóvil (según lo determinado por el mapa NEC) por teléfono celular a un programa que se ejecutaba en una poderosa computadora en el Media Lab. El programa calculó el siguiente conjunto de direcciones de calles requeridas, teniendo en cuenta la posición del conductor, la velocidad del automóvil y cuánto tiempo llevaría pronunciar el enunciado calculado. Estas instrucciones luego se introdujeron en un sintetizador de voz llamado DECtalk y se enviaron de regreso al automóvil a través de un segundo teléfono celular. La confiabilidad irregular de la cobertura celular causó muchos problemas, por lo que la segunda versión del sistema movió la computadora directamente al maletero. Schmandt y Davis llamaron al sistema Back Seat Driver.

Estoy muy contento de que hayamos hecho Back Seat Driver, dice. Fue una dulce aplicación de la voz. La patente que él y Davis presentaron sobre él, que dice que fue copiada liberalmente de la disertación de Davis, había sido citada por otras 523 patentes hasta febrero de 2019, según la Oficina de Patentes y Marcas de EE. UU. Durante algún tiempo fue la patente más citada en la cartera del MIT, dice. Sin embargo, nunca ganaron dinero con eso. Todas las patentes que citaron las suyas hacen todo lo posible para explicar en qué se diferencian, dice, explicando que así es como se juega el juego de las patentes.

No siempre se sabe de dónde vendrán las grandes ideas, dice Schmandt, y agrega que aprendió a lo largo de los años a escuchar a los estudiantes. Mi trabajo es ayudarlos a perfeccionar sus ideas: descubrir qué parte de la idea es la parte buena. ¿Dónde está la verdadera novedad? ¿Cómo puedes construir esto, cómo puedes explicar esto?

Cindy Hsin-Liu Kao, PhD '18, dice que el estímulo de Schmandt fue crucial para su investigación, que involucró interfaces de usuario que se adhieren al cuerpo con materiales que no dañan la piel. Gracias por creer siempre en mí, dijo en su cena de jubilación, a la que asistió virtualmente, usando una computadora de mano con reconocimiento de voz incorporado, desde lo alto de la Basílica de San Pedro en Roma. Cuando estaba pensando en ir en una dirección más convencional o explorar algo realmente extraño, siempre decías que hiciera algo extraño. Hoy, Kao es profesor asistente de diseño y análisis ambiental en la Universidad de Cornell. Y su transmisión de video inalámbrica en la cena de Schmandt no sorprendió a nadie en la asistencia: hoy en día, todos tienen un búfer de cuadros en el bolsillo.

esconder