Databricks el inventor y mantenedor de Apache Spark, presentó varias innovaciones para su Unified Analytics Platform en su conferencia de usuarios Data + AI Summit 2021, entre las cuales destaca el lanzamiento de un nuevo proyecto de código abierto llamado «Delta Sharing» que proporciona un protocolo abierto para compartir datos de forma segura entre organizaciones en tiempo real, independientemente de la plataforma en la que residan los datos.

Delta Sharing se incluye dentro del proyecto Delta Lake, una capa de almacenamiento de tablas que la compañía lanzó a código abierto a fines de 2019. La plataforma ya ha obtenido el apoyo de un amplio conjunto de proveedores de datos, incluidos Nasdaq, Amazon Web Services, Microsoft, Google y Tableau Software.

El intercambio de datos se ha vuelto fundamental en la economía moderna, ya que las empresas buscan intercambiar datos de forma segura con sus clientes, proveedores y socios. Por ejemplo, un minorista puede querer publicar datos de ventas para sus proveedores en tiempo real, o un proveedor puede querer compartir el inventario en tiempo real. Pero hasta ahora, el intercambio de datos ha sido muy limitado porque las soluciones de intercambio están vinculadas a un solo proveedor. Esto crea fricciones tanto para los proveedores de datos como para los consumidores, que naturalmente ejecutan diferentes plataformas.

Hoy, lanzamos un nuevo proyecto de código abierto que simplifica el intercambio entre organizaciones: Delta Sharing , un protocolo abierto para el intercambio seguro en tiempo real de grandes conjuntos de datos, que permite el intercambio seguro de datos entre productos por primera vez. Estamos desarrollando Delta Sharing con socios de los principales proveedores de software y datos del mundo.

Databricks dijo que espera abordar la ineficiencia de los procesos a menudo manuales necesarios para que las organizaciones intercambien datos con clientes, socios y proveedores. Históricamente, los productos para compartir datos han estado vinculados a un solo proveedor o producto comercial, lo que limita la colaboración entre organizaciones que utilizan diferentes plataformas.

“La principal forma en que las empresas han compartido con otros es atravesando un proceso engorroso o utilizando un sistema existente rígido que todos deben usar”, dijo Arsalan Tavakoli (en la foto), cofundador y vicepresidente senior de ingeniería de campo en Databricks.

Unir varias fuentes de datos también es una tarea ardua. “No se puede simplemente dar acceso a todos”, dijo. “Quieres controles de acceso, auditoría y control de versiones. No hay forma de hacer eso hoy «.

Delta Sharing limita la dependencia del proveedor y permite un conjunto de casos de uso más amplio y diverso de lo que ha sido posible anteriormente, dijo la compañía. Unity Catalog que se puede utilizar en SQL, herramientas de análisis visual y lenguajes de programación como Python y R. Delta Sharing también permite a las organizaciones compartir conjuntos de datos existentes a gran escala en Apache Parquet y Formatos de Delta Lake en tiempo real sin necesidad de copias.

Delta Sharing es el quinto gran proyecto de código abierto lanzado por Databricks, después de Apache Spark, Delta Lake, MLflow para aprendizaje automático y Koalas, que implementa la interfaz del programa de aplicación pandas DataFrame sobre Spark. El proyecto está siendo donado a la Fundación Linux.

Además Databricks tambien destaco a «Unity Catalog« un catálogo de datos estandarizado y que es compatible con «Delta Sharing». Unity Catalog cuenta con una nueva interfaz que facilitará el descubrimiento y la gestión de todas las bases de datos de una empresa, con una vista completa de los datos en las nubes y los catálogos existentes, por supuesto en la plataforma Lakehouse de Databricks.

Unity Catalog ofrece un único modelo de seguridad, basado en ANSI SQL, para agilizar la implementación y estandarizar la gobernanza en las nubes. La herramienta también se puede integrar en catálogos de datos existentes de Alation, Collibra, Privacera e Immuta, para que el cliente respectivo pueda construir sobre el existente y establecer un modelo de gobernanza centralizado y a prueba de futuro sin altos costos de migración.

Finalmente si estás interesado en poder conocer más al respecto, puedes consultar los detalles en el siguiente enlace.

from Linux Adictos https://ift.tt/2RPOpbM
via IFTTT

Kevin Backhouse (un investigador de seguridad) compartió hace pocos dias en el blog de GitHub la nota de que había encontrado un error en el servicio de polkit asociado con systemd (un sistema común de Linux y un componente de administrador de servicios), con el cual la vulnerabilidad de hace siete años que permitía poder realizar una escalada de privilegios que ha estado al acecho en varias distribuciones de Linux y la cual fue parcheada la semana pasada en una divulgación coordinada.

Polkit es un kit de herramientas a nivel de aplicación para definir y manejar la política que permite que los procesos sin privilegios hablen con los procesos privilegiados, se instala de forma predeterminada en varias distribuciones de Linux. La vulnerabilidad se introdujo en la versión 0.113 hace siete años (commit bfa5036 ) y se corrigió el 3 de junio después de su reciente divulgación por el investigador de seguridad Kevin Backhouse.

Como miembro del Laboratorio de seguridad de GitHub , mi trabajo es ayudar a mejorar la seguridad del software de código abierto mediante la búsqueda y notificación de vulnerabilidades. Hace unas semanas, encontré una vulnerabilidad de escalada de privilegios en polkit. Coordiné la divulgación de la vulnerabilidad con los mantenedores de polkit y con el equipo de seguridad de Red Hat. Se dio a conocer públicamente, la corrección se lanzó el 3 de junio de 2021 y se le asignó CVE-2021-3560

«Cada sistema Linux que usa una versión vulnerable de polkit está potencialmente expuesto a ataques que explotan la falla CVE-2021-3560», comenta Backhouse, además dice que la falla es sorprendentemente fácil de explotar, ya que solo requirie de unos pocos comandos usando herramientas de terminal estándar como bash, kill y dbus-send.

«La vulnerabilidad se activa al iniciar un dbus-sendcomando, pero matándolo mientras polkit todavía está procesando la solicitud», explicó Backhouse.

Backhouse publicó un video PoC de un ataque que explota esta vulnerabilidad demostrando que es fácil de activar.

“La vulnerabilidad permite que un usuario local sin privilegios obtenga un shell root en el sistema. Es fácil de explotar con algunas herramientas de línea de comandos estándar, como puede ver en este breve video «escribió el experto en una publicación de blog.

Al matar dbus-send (un comando de comunicación entre procesos), en medio de una solicitud de autenticación provoca un error que surge de polkit que solicita el UID de una conexión que ya no existe (porque la conexión fue eliminada).

«De hecho, polkit maneja mal el error de una manera particularmente desafortunada: en lugar de rechazar la solicitud, la trata como si procediera de un proceso con UID 0», explica Backhouse. «En otras palabras, autoriza inmediatamente la solicitud porque cree que la solicitud proviene de un proceso raíz».

Esto no sucede todo el tiempo, porque la consulta de UID de polkit al se dbus-daemonproduce varias veces en diferentes rutas de código. Por lo general, esas rutas de código manejan el error correctamente, dijo Backhouse, pero una ruta de código es vulnerable, y si la desconexión ocurre cuando esa ruta de código está activa, es entonces cuando ocurre la elevación de privilegios. Todo es cuestión de tiempo, que varía de formas impredecibles porque están involucrados múltiples procesos.

Además, el investigador publicó la siguiente tabla que contiene la lista de distribuciones actualmente vulnerables:

Las distribuciones de Linux que tienen instalada la versión 0.113 o posterior de polkit, como Debian (rama inestable), RHEL 8, Fedora 21 y superior y Ubuntu 20.04, se ven afectados.

La naturaleza intermitente del error, especula Backhouse, es la razón por la que no se detectó durante siete años.

«CVE-2021-3560 permite que un atacante local sin privilegios obtenga privilegios de root», dijo Backhouse. «Es muy simple y rápido de explotar, por lo que es importante que actualice sus instalaciones de Linux lo antes posible».

Finalmente si estás interesado en poder conocer más al respecto, puedes consultar los detalles en el siguiente enlace.

from Linux Adictos https://ift.tt/3gsoyPC
via IFTTT