La tecnología de cámara ha avanzado a pasos agigantados a lo largo del siglo XX y XXI, pero uno de los desarrollos más importantes fue la invención del sensor de imagen CMOS. Esta invención, apodada la “cámara en un chip”, es la tecnología que permite a cualquiera llevar cámaras de alta resolución en el bolsillo.
Sin embargo, la historia del CMOS puede trazarse hasta el deseo de la NASA de instalar cámaras pequeñas y de bajo consumo capaces de capturar imágenes de alta resolución en naves espaciales interplanetarias.
El Dr. Eric R. Fossum es el inventor de la cámara en un chip, y no solo ha dado forma a una era de la fotografía espacial, sino también a las muchas industrias y tecnologías que rodean a las microcámaras que conocemos hoy.
La cámara en un chip ha cambiado el mundo
Antes del desarrollo del sensor de imagen CMOS, la fotografía y la videografía dependían a menudo de películas fotográficas, o de los más avanzados Dispositivos de Acoplamiento por Carga (CCDs). La misión Apolo 11 utilizó cámaras Hasselblad diseñadas específicamente, que resultaban demasiado pesadas para el retorno a la Tierra, lo que obligó a los astronautas a transportar únicamente el carrete para su revelado. Esas cámaras siguen presentes hoy en día.
Los CCDs, por su parte, fueron el precursor del sensor de imagen basado en CMOS. Detectaban fotones mediante píxeles individuales que alimentaban una carga eléctrica a un único amplificador de lectura en una configuración fila por fila. Estas cámaras mejoraron significativamente en cuanto a peso y a la captura de imágenes mucho más vívidas que sus homólogas basadas en película, pero sufrían de alto consumo de energía y generación de calor.
Los sensores de imagen CMOS mejoraron aún más el diseño de CCD al dotar a cada píxel de su propio circuito de conversión y amplificador local, permitiendo que cada píxel se leyera simultáneamente y reduciendo drásticamente la energía requerida por imagen capturada y el calor generado por la cámara.
Los sensores de imagen CMOS son la base sobre la que trabajan la mayoría de cámaras modernas, desde la cámara de tu teléfono y la del timbre de tu casa, hasta los Sistemas Avanzados de Ayuda a la Conducción que alimentan los coches autónomos, e incluso las cámaras que aún se dirigen al espacio hoy.
Conozco al Dr. Fossum para entender cómo se desarrollaron los sensores de imagen CMOS y su impacto en el mundo que conocemos hoy.
- Eric, ¿pensabas alguna vez que tu invención, el sensor de imagen basado en CMOS, tendría un impacto tan grande en la sociedad a nivel mundial?
Pensé que podría volverse ubiquitous y que debería hacerlo, pero mi confianza en que realmente ocurriría era baja, debido a todo tipo de incógnitas. No preveía en absoluto la aplicación en redes sociales, ni su impacto en la sociedad, ni su impacto en la recopilación de noticias por ciudadanos, ni su impacto en la justicia social, ya sea para proteger a actores buenos en la aplicación de la ley o para identificar a actores problemáticos. También sabía que podría haber impactos en la privacidad y la libertad, y me incomoda cómo ha evolucionado.
- Observo que trabajaste en el legendario JPL (Jet Propulsion Laboratory) de la NASA en esa época. No solemos asociar a JPL con imágenes digitales de vanguardia. ¿Cómo sucedió eso? ¿Fue JPL, en esencia, otro Xerox PARC?
La NASA y JPL están asociadas a la imagen digital avanzada desde sus primerísimas actividades en la exploración robótica del espacio. Los ingenieros de JPL encontraron formas de enviar de vuelta imágenes de lugares lejanos mediante imágenes digitales y transmisión de datos. Eugene F. Lally en JPL en 1961 fue probablemente el primer avance de la idea de una captura de imágenes mosaico, donde mosaico se refiere a una matriz de píxeles. JPL desarrolló muchas tecnologías de imagen digital para uso científico en el duro entorno del espacio, con captura de imágenes de alta precisión y fiable a lo largo de un rango mayor de longitudes de onda que los productos de consumo. Mi trabajo en JPL fue creado por la dirección de JPL para ampliar la profundidad de banco de CCDs.
- Seguro que seguiste con interés la travesía visual de Artemis II hace unas semanas: desde las fotos icónicas hasta los videos que la tripulación y todo el equipo produjeron durante ese viaje. ¿Recuerdas qué pensamientos tuviste cuando viste por primera vez las maravillosas imágenes que entregó la tripulación?
Mis pensamientos iniciales se centraron en las imágenes impresionantes, y me alegró que los humanos hayan regresado a la luna, al menos en órbita por ahora. Pero también se me ocurrió que era increíble que la tecnología de sensores de imagen inventada por la NASA, utilizada en un teléfono inteligente de consumo (y en una cámara digital), fuera utilizada en esta misión, cumpliendo aún más su promesa de hacer las cámaras más rápidas, más baratas y mejores.
- Tu investigación actual en Dartmouth se centra mucho en el Quanta Image Sensor (QIS). ¿Puedes contarnos más sobre qué es, en qué se diferencia de los sensores CMOS y por qué se llama Quanta (presumo que es el plural de Quantum)?
En el CMOS QIS, gracias a su ultra-bajo ruido de lectura, es posible por primera vez discernir fotones individuales mediante sus electrones de fotoemisión y contar con alta precisión el número de electrones de fotoemisión en cada píxel, a temperatura ambiente, con bajas tensiones y sin el uso de ganancia por avalancha. El QIS de CMOS que desarrollamos en Dartmouth y posteriormente en la spin-off Gigajot es, en esencia, un sensor de imagen CMOS que utiliza transferencia de carga intra-píxel (inventada en JPL) y una capacitancia de nodo de lectura extremadamente baja, para generar una señal de voltaje suficientemente grande a partir de un solo fotoelectrón para superar el ruido térmico de fondo en silicio.
El concepto de QIS, sin embargo, es agnóstico a la tecnología, ya que se trataba de crear grandes imágenes una fotón a la vez. La tecnología de Diodos de Avalancha de Fotones Individuales (SPAD) ha avanzado significativamente en los últimos 20 años para ser útil también en la implementación de sensores de imagen. Un SPAD QIS tiene píxeles más grandes y consume mucha más energía que el CMOS QIS, pero ofrece etiquetado temporal de la llegada de píxeles significativamente más preciso que el CMOS QIS y se está produciendo como un proceso de fundición que también se integra fácilmente con circuitos CMOS.
- ¿Cómo ha impactado IEEE tu trayectoria profesional?
Soy miembro de IEEE desde que era estudiante y desde entonces he llegado a ser Life Fellow. Las sociedades profesionales son muy importantes para la difusión de la investigación de vanguardia entre expertos en el campo, y IEEE no es la excepción. He publicado muchos artículos bajo IEEE, en subsectores de Dispositivos Electrónicos y Circuitos Sólidos, y me he beneficiado de reuniones IEEE como la International Electron Devices Meeting (IEDM) y la International Solid-State Circuits Conference (ISSCC). IEEE también fue socio en los primeros días de lo que hoy se conoce como International Image Sensor Workshop, que yo y otros fundamos en 1986.
- ¿Cuál es, desde tu punto de vista, el futuro de los sensores de imagen para consumo, dado que los smartphones mainstream ya cuentan con sensores de cientos de millones de píxeles y hemos llegado a un punto de rendimientos decrecientes?
Ciertamente a corto plazo, los sensores de imagen y los consumidores se han beneficiado de la integración 3D y de dispositivos en forma de obleas apiladas. La integración en chip de funciones más avanzadas, posiblemente incluyendo funciones inteligentes de imagen o procesamiento en el borde, abre nuevas vías para mejorar la captura de imágenes y su comprensión directamente en el plano focal. Esto era algo que soñaba desde los años 80, cuando exploraba, investigaba y escribía sobre sensores de imagen inteligentes y procesamiento de imágenes en el plano focal, pero entonces era demasiado temprano.
- ¿Qué opinas sobre PIS (Processing-in-sensor), que fusiona computación, el sensor de imagen y la memoria en un sistema holístico en el borde?
Como mencioné, he estado pensando en este tema desde mis años de posgrado a principios de los años 80 en Yale y luego en la Universidad de Columbia. No estoy familiarizado con la sigla PIS (que podría ser una elección de nombre poco afortunada), pero sí creo que depende mucho de la aplicación. Además, existe un problema de comunicación de datos y procesamiento en paralelo, donde el cómputo local por píxel es fácil, pero el cómputo global de la imagen, donde diferentes regiones deben ser analizadas, sigue siendo difícil en el plano focal. Esto podría evitar la adición de disipación de energía adicional al chip del sensor de imagen e, en su lugar, dividir el sistema de imagen en dos partes: cómputo local en el plano focal y cómputo regional o global fuera del plano focal.
- Hoy hay miles de millones de cámaras que capturan el mundo en dos dimensiones, generando millones de gigabytes de datos. ¿Alguna vez te has interesado por tecnologías de almacenamiento exóticas (algunas de las cuales usan sensores de imagen)?
No he trabajado mucho en sistemas de almacenamiento exóticos, aunque en Photobit, nuestra spin-off de JPL, trabajamos con empresas, desde otras startups hasta gigantes como AT&T Bell Labs, sobre la lectura de memorias holográficas ópticas. Aunque, en ese momento, estábamos centrados principalmente en el chip del sensor de imagen y en la lectura de alta velocidad.
- ¿Puedes hablarnos sobre la significancia de la Medalla Nishizawa de IEEE Jun-Ichi Nishizawa, y qué significa este reconocimiento para ti?
Quien no gusta de ser reconocido por sus colegas por sus logros? Aun así, es un momento muy humillante que me hace reflexionar sobre las grandes personas con las que he tenido la suerte de trabajar a lo largo de los años. Ha sido un privilegio trabajar con estas personas y recorrer este viaje juntos. Como siempre intento mencionar, la increíble tecnología de sensores de imagen CMOS que todos usamos a diario fue posible gracias al duro e innovador trabajo de miles de ingenieros de sensores de imagen en todo el mundo.
- Estamos planificando una serie especial a finales de año, que examine herramientas que utilizan los líderes de opinión en su vida diaria. Nombra una (física o basada en software) que consideres crítica para tu rutina de trabajo diario y por qué la elegiste.
Creo que las herramientas de IA son grandes ahorradoras de tiempo para encontrar y curar información, y a menudo aprendo mucho de su aparente conocimiento, y a veces de sus ideas. Hoy en día utilizo Co-Pilot mucho. Pero siempre me preocupa a quién, directa o indirectamente, estoy compartiendo información e ideas. Creo que esto es algo que todos deberíamos considerar y plantear preguntas difíciles a las grandes empresas de IA.
Pacosite's Blog 