Высокопроизводительный драйвер Arrow-native для аналитики в lakehouse
Hands записывают партии по ссылке для перемещения колонных данных с минимальными затратами ЦП, соединяя Delta Lake и Apache Iceberg с аналитическими инструментами. DeltaForge предоставляет ADBC Driver для Windows и других настольных ПК, с включенным соединителем Power BI и языковыми привязками для Python, R и C. Его основные преимущества - это низкая задержка, нулевые копии передачи и прямой доступ к таблицам из объектного хранилища, нацеленный на инженеров данных и аналитиков BI, которые запрашивают большие таблицы lakehouse без запуска Spark.
Драйвер обеспечивает нативные передачи Arrow без копирования для колоннарных данных
DeltaForge ADBC Driver передает партии записей клиентским приложениям по ссылке, что устраняет накладные расходы на преобразование, ориентированное на строки, и сохраняет данные в колоннарной памяти. Драйвер читает и записывает форматы таблиц Delta Lake и Apache Iceberg и представляет данные в виде партий записей Arrow для клиентов на Python, R или C. Для рабочих процессов, которые требуют колоннарных партий вместо буферов строк, это приводит к более низкой задержке и снижению использования ЦП во время извлечения.
Он снижает зависимость от внешнего кластера, запуская нативный SQL-движок локально
Драйвер включает SQL-движок, который устраняет необходимость в зависимости от JVM или Spark, поэтому запросы могут выполняться на локальном оборудовании или существующих ВМ, а не на управляемых кластерах. DeltaForge рекламирует протестированные скорости более чем в 13 раз быстрее, чем стандартные .NET ODBC драйверы для определенных рабочих нагрузок, что поддерживает случаи использования, когда организациям нужно избежать поддержки отдельного кластера Spark для аналитики.
Установка и интеграция BI прямые, но предполагают техническую настройку
На Windows драйвер поставляется в виде подписанного MSI и доступен через WinGet, а также предоставляет встроенный пользовательский коннектор Power BI для Desktop. Установка проста для системных администраторов, однако интеграция коннектора в корпоративный BI-пipeline требует настройки доступа к хранилищу (S3, ADLS или локальный диск) и понимания структуры таблиц lakehouse. Стандартные привязки ADBC позволяют разработчикам вызывать драйвер из кода, как только учетные данные и конечные точки будут установлены.
Операционная безопасность и влияние на систему соответствуют потребностям высокопроизводительной аналитики
Драйвер читает таблицы непосредственно из объектного хранилища и избегает записи метаданных кластера, что устраняет зависимость от активных вычислительных кластеров. Поскольку он передает партии по ссылке и избегает накладных расходов JVM, давление на ЦП и память снижается по сравнению с драйверами, основанными на строках, во время больших экспортов. Для сред, которым нужна безопасность отката или снимков, эти защиты должны управляться на уровне хранилища или таблицы, а не самим драйвером.
Лучший вариант для команд, которые могут выполнять запросы к хранилищу lakehouse; рекомендуется тестирование на репрезентативных данных
Драйвер DeltaForge ADBC является прагматичным вариантом для инженеров данных и команд BI, которым нужен доступ с высокой пропускной способностью к таблицам Delta Lake или Iceberg без необходимости работы с кластерами Spark. Ожидайте более быстрой передачи данных и меньшего использования локального ЦП, хотя для его интеграции требуется знание вашей структуры хранения и контроля доступа. Тестируйте запросы на копии вашего набора данных, чтобы подтвердить разрешения и использование ресурсов перед развертыванием в производственной среде. Рекомендуется.
