公司活动

PGConf US大会DAY5速报

2019 年 03 月 24 日

美国时间3月22日,第八届Postgres Conference US大会(以下简称“PGConf US”)在美国纽约时代广场喜来登酒店盛大闭幕。会议最后一天,瀚高软件受邀与微软、亚马逊、德国Credativ集团、欧洲DBeaver、EDB、TimeScale等公司共同举办现场招聘活动。以下由瀚高软件带来本日速报。


第一部分:上午的演讲内容汇总

让数据库迁移变得更轻松

主讲人: Jeffrey Surretsky


演讲简介:本次演讲主要介绍在Postgres迁移的过程中用到的一些Quest的工具,这些工具形成一种解决方案,这个解决方案可以有效地解决在Postgres迁移过程中会遇到的一些问题和挑战。演讲中介绍了Postgres迁移中遇到的一些主要的挑战,包括挑战--数据结构迁移、挑战--数据迁移、Quest迁移后解决方案以及Quest的其它迁移方案等。

是什么让我的数据库放慢了Dev-Ops的速度

主讲人: Bernhardt Garlipp


演讲简介:DEV-Ops的一般过程,开发人员提交新功能功能通过自动测试功能部署,但是这些依然很慢这次演讲旨在提供有关如何识别数据库集群上缓慢且有问题的查询以及如何解决和解决这些问题的方法和工具。讲座的第二部分将针对他们公司的经验教训以及他们如何解决这些问题。 


将整个PostgreSQL生命周期完全自动化

时间:主讲人:Julian Fische


演讲简介:管理数百个高度可用的PostgreSQL实例及其生命周期并不是一个梦想。使用BOSH,适用于小型和大型云软件的发布工程,部署和生命周期管理软件,可帮助实现故障恢复和软件更新,从零到最小的停机时间,但即便如此,自动化的路还有很长的路要走。参加此次演讲的演讲嘉宾将以他们与BOSH和PostgreSQL的四年工作专业知识介绍和分享有关如何为他们的客户构建全自动PostgreSQL生命周期体验的知识。

TIBCO数据科学

主讲人: Venkata Jagannath

演讲简介:TIBCO Data Science演示的是一个与PostgreSQL和Greenplum以及Gartner数据科学领导者大规模数据准备和分析的协作数据科学平台。

将Postgres与Apache Camel和ActiveMQ集成

主讲人:Justin Reock


演讲简介:演讲者介绍了如何将Postgres用作ActiveMQ消息传递平台的后备持久性适配器,以及强大的Apache Camel集成框架的集成端点。通过演讲你不仅可以了解JDBC,还可以获得这两个成熟且强大的集成平台的可靠介绍。

何时使用JSONB以及何时不在Postgres中使用JSONB

主讲人:Anson Abraham

演讲简介:演讲介绍了在PG中使用JSONB的情况,当它工作时和它不起作用时,你需要使用另一个文档存储并使用FDW从PG访问。

使用Postgres中的时间序列数据构建代码安全服务

主讲人: Preetam Jinka


演讲简介:ShiftLeft是一家安全创业公司,致力于组合静态分析和运行时保护安全解决方案。代码分析过程以JVM字节代码或源代码开始,并转换为称为代码属性图(CPG)的新图形表示。然后,使用图形遍历查询检查此CPG(语法,控制流和数据流信息的组合),以查找数据泄漏,注入和其他安全漏洞。作为软件即服务(SaaS)安全平台,他们拥有许多与现代Web应用程序相同的数据库需求。其中包括存储用户和组织帐户、项目元数据、帐单信息等。他们平台的独特之处在于他们如何利用PostgreSQL来运行他们的代码分析平台和UI。他们不是使用专用的排队系统来协调管道阶段之间的任务,而是使用队列表,并使用单独的表跟踪各种管道阶段的状态。请注意,这并非总是如此。他们曾经使用Kafka作为工作队列,但他们在PostgreSQL中有更好的可靠性和可视经验,这在演讲中进行了详细解释。

虽然他们可以单独使用静态分析获得特殊的检测结果,但他们还必须依赖运行时生成的时间序列来确定实际执行哪些漏洞以确定它们的优先级以便解决。为此,他们部署了微控制器以及使用从CPG派生的安全配置文件的应用程序。这些微代理程序检测应用程序的易受攻击部分,然后将安全事件和其他运行时数据传回他们的SaaS API。然后使用TimescaleDB将运行时数据存储在PostgreSQL中,TimescaleDB是PostgreSQL的开源扩展。这里做了详细的解释为什么他们使用TimescaleDB和PostgreSQL而不是其他时间序列数据库,它如何用于为他们的时间序列基础架构提供动力,以及他们开发的用于在生产中管理它的工具。

VACUUM上的所有污点

主讲人: Jim Nasby 


演讲简介:多版本并发控制(MVCC)的使用可能是PostgreSQL提供的最强大的功能之一,但它可能成为新用户和有经验用户的混淆源。在这次演讲中,Jim深入探讨了为什么Postgres需要vacuum和vacuum做了些什么,详细介绍了vacuum的原理,整个执行流程,包括对表,索引以及freeze.,包括autovacuum, mannul vacuum. Full vacuum…,并且讲解了vacuum对应的状态信息,讲解了vacuum在性能上的影响,在以及调节参数和如何调节vacuum.如何在合适的时间做full vacuum。

多元化和包容性小组

主讲人: PostgresConf组织者

演讲简介:小组讨论了增加技术社区多样性和包容性的机遇和挑战。

部分:下午的演讲内容汇总

在Azure Data Studio中引入PostgreSQL

主讲人: Rony Chatterjee博士、Anup Kamath


Rony是Microsoft Azure Data的高级项目经理,负责为企业客户构建下一代大数据产品。


Anup Kamath是Microsoft的Azure Data高级工程经理,负责推动Azure上PostgreSQL的连接体验的设计、实现和改进。

演讲简介:Azure Data Studio是一种跨平台数据库工具,面向在Windows,MacOS和Linux上使用Microsoft内部部署和云数据平台系列的数据专业人员。我们在Azure Data Studio中引入了对PostgreSQL数据库的支持,以支持带有智能感知的使用现代编译器完成数据库开发、代码段、源代码控制集成和集成终端的现代编辑器体验中的数据库开发。它在设计时考虑了数据平台用户,内置了查询结果集和可自定义的仪表板。 PostgreSQL的Azure Data Studio扩展支持Tools API服务,该服务提供数据管理和高性能查询执行功能。

Azure Data Studio还提供现代的,以键盘为中心的PostgreSQL编码体验,通过内置功能(例如多个选项卡窗口,丰富的SQL编辑器,智能感知,关键字完成,代码片段,代码导航和源代码)使您的日常任务更轻松控制集成(Git)。运行按需SQL查询,以文本、JSON或Excel的形式查看和保存结果、编辑数据、组织您喜欢的数据库连接、并以熟悉的对象浏览体验浏览数据库对象。

Azure Data Studio还提供丰富的笔记本体验,后端Jupyter用于本地Python开发,这将允许PostgreSQL开发人员使用Python和机器学习包运行基于机器学习的工作负载。

与ACID一起使用它

主讲人: Alexey Klyukin


演讲简介:你有没有想过为什么vacuum无法在事务中运行? 您是否可以通过使用BEGIN ... COMMIT将您的语句包装在Postgres中的外部表中,使得外部数据存储能够神奇地支持ACID事务? 本演讲展示了Postgres作为事务系统的强大功能,并提供事务如何帮助数据库用户完成诸如加速查询,跟踪模式更改,以一致方式复制多个表等任务的示例。

更多详细内容:

https://postgresconf.org/system/events/document/000/000/994/pgconfus2019.pdf

在Postgres上构建可扩展的实时GraphQL API(GraphQL订阅)

主讲人: Tanmai Gopal

演讲简介:GraphQL是一种新的API格式,用于Web服务器与客户交流,这种格式正在迅速普及,作为REST-ish设计的替代方案。 GraphQL规范允许“订阅”从而允许Web服务器将更改的结果或事件推送到Web客户端。 构建可扩展且可靠的GraphQL服务器是一项挑战。在本次演讲中, Tanmai Gopal介绍了以可扩展且可靠(不丢失的错过事件)方式和Hasura使用的方法将Postgres数据库中的更改流式传输到Web客户端的各种可能方法。

逻辑复制......让我们做吧!

主讲人: Robert Treat

演讲简介:Postgres 10增加了一种新的复制形式; 逻辑复制。本次演讲讲解了Postgres生态圈内可用的各种复制和故障转移选项,包括:Postgres中(非常)简短的流复制历史、什么是逻辑复制、Postgres 10和11之间的差异等一些基础知识,并逐步完成在两台服务器之间设置逻辑复制的实时演示,对集群进行实时实验。 包括设置架构,设置复制,观察数据更改,然后查看DDL更改等内容,以及一些更多深奥的命令,例如截断表时发生的情况,或者如果在服务器之间更改架构会发生什么情况。

CTE的奇迹

主讲人: Hein Kruger


演讲简介:Hein Kruger做了对CTE使用的快速介绍,并介绍了其好处,主要是CTE结构的一些实际用途以及递归CTE的使用。

使用PostgreSQL,Apache Kafka和KSQL的流式传输ETL实践

主讲人: Viktor Gamov


演讲简介:在本次演讲中,介绍了如何使用CDC和Kafka Connect将数据从PostgreSQL等数据流传输到Kafka。此外,介绍了使用KSQL过滤、汇集并将其连接到其他数据,然后将其从Kafka流式传输到多个目标,如Elasticsearch和S3。

高性能编码:大型文件的基于Rust的树形哈希

主讲人: Jack O'Connor


演讲简介:Bao是一个加密树哈希,基于BLAKE2并在Rust中实现。 树哈希比传统的哈希函数更灵活,Bao可以独立地验证文件的小块,而不是一次只检测整个文件。 树形哈希还可以并行地对文件的不同部分进行哈希处理,这使得它们比现代硬件上的传统哈希速度快得多。本次演讲介绍了什么是加密哈希,以及如何设计树形哈希以保持这些加密保证。还有如何使用Rust来利用多线程和SIMD来提高性能,并做了精彩的演示。

更多内容下载:

https://jacko.io/bao_presentation/presentation.html

调整这些PostgreSQL参数后,性能提升了400%

主讲人: Avinash Vallarapu


演讲简介:Avinash Vallarapu分享了如何优化了几个数据库参数,这些参数多次提升了性能。 它是一个大小为325 GB且超过1500 TPS的PostgreSQL服务器。 在调优之后,能够在不影响ACID或可用性的情况下使数据库进程达到4900 TPS。

Shadow表到PGAudit

主讲人: Lloyd Albin


演讲简介:Shadow表是一个由触发器函数读取和写入的表,其中包含与其主表类似的数据(与其格式相同),该表是“遮蔽”的表以及一些额外的字段,以便您可以在影子表中做时间检查,知道谁什么时候做了什么。演示中介绍了传统的Shadow表,它适用于所有当前版本的PostgreSQL和所有需要Postgres 9.5或更新版本的PGAudit的云平台。 PGAudit为PostgreSQL用户提供了生成审计日志的能力,这些日志通常需要符合政府、财务或ISO认证。虽然两者都提供了相似的东西,但它们在目标和输出方面却截然不同,而且你可以轻松地对这些输出做些什么。

< 返回活动

新闻推荐

2020/03/06

支援湖北,我们共同倡议!

活动推荐