公司活动

PGCon2019 DAY2速报

2019 年 05 月 30 日

美国时间5月29日,PGCon2019会议进入第二天,当天会议的主要内容以开发人员内部会议以及数据库的一些初级培训为主。

以下由瀚高软件为您带来DAY2会议速报。

一、闭门会议总结

本次闭门会议由国际社区核心组成员Magnus主持,会议议题是对选定的主题进行深入的技术讨论,会议形式以互动讨论为主。演示者将选择他正在进行的功能主题,并将讨论开发功能时所面临的设计和挑战。演示者不会有任何幻灯片,而是会谈论他的想法和问题,使用白板解释问题,并欢迎社区成员提出建议和想法。经会议讨论,最终选出了大家希望看到的12个主题。 

详情请参考社区网站:

https://wiki.postgresql.org/wiki/PgCon_2019_Developer_Unconference 

zed存储Postgres的列式存储)




zed存储是具有高压缩比的列存存储引擎。在介绍zed存储时,作者Heikki从其工作原理、使用方法、注意事项等多个方面进行介绍。大家非常关注zed存储的性能以及安全性。随着数据的增长,列存是数据库必然的选项,zed存储正好填补了列存空缺。本主题由Pivotal团队添加,Heikki提出了这个主题。             

Heikki和团队一直致力于在PostgreSQL后端添加列式存储。他们希望提高在查询选择列子集的性能,并减少IO以及降低磁盘占用空间。他们设想使用由TID索引的Btree并启用压缩。社区没有负面反馈,这是一种预期的混合。他们还考虑添加不同的压缩技术,但还没有决定任何一种。 

大数据量复制时的延迟


这个主题由来自Adjust.com的Chris Travers介绍。他们面临着由他们的系统生成的tera字节WAL的问题,他们必须在多个副本上应用它们。然而,生成的WAL流量非常大,以至于它们的复制系统落后于主服务器。所以他们正在寻求解决这个问题,并提出了一些想法。他讨论了几个想法,比如:

  • 基于UDP的复制协议:后端使用udp协议并行发送多个WAL,接收器将根据lsn信息对它们进行排序。

  • 用户协议:一种新协议,用于处理发送和接收WAL数据包并根据lsn对它们进行排序/重组。后端工作程序在两端处理,以发送和接收数据包。

  • 并行WAL运输,可能无需修改后端。

  • 并行流媒体。

  • 为archive命令添加一些改进。

WAL日志扩展



David Steel提出了这个话题。他也是pg_backrest的作者,并从他的客户群中获得了有关归档过程的一些反馈。他建议使用系统中现有的归档和恢复命令机制添加归档扩展。他的目的是:

  • 提高存档日志记录的性能。

  • 提高归档wal记录和安全性。

  • 改进对主要和待机状态下WAL记录的跟踪。

为了实现这些目的,他建议实现hooks / API以允许在扩展中实现归档,这是一个扩展,它将实现归档程序进程中相当功能的大部分,使用内置的复制槽来跟踪WALs 存档并添加一些标准API,可用于向系统请求其他文件,如.history.backup等。他还建议实现一个核心扩展,实现当前的归档方(archive_commandrestore_command),以免破坏后备词兼容性。大家的想法是,扩展将更好地控制归档过程,而不是使用archive_commandrestore_command中的shell命令,这些命令可能被利用或滥用,或者糟糕的使用会导致不完整的WAL归档日志记录。

direct I/O & async i/O





提出者就此功能的目标以及当前的任务进行了讲解,同时解答了大家对于性能以及稳定性的疑问。

带有复制的高容量或延迟链接的问题或可能解决方案




这个话题主要是使用UDP代替流复制的TCP来提高性能。当然使用UDP同样需要增加一些数据验证的功能。在使用UDP后,性能大约有20%的提升。作者讲述了在用户遇到的性能问题,做这个功能的目标,以及此功能的注意事项。与会人员对此功能非常感兴趣,同时其安全性提出了很多质疑。作者对这些质疑依次进行了解答。

Constrain Session memory




议题由来自AWS的Grant提出并组织分场讨论。控制或约束会话级别内存。Grant首先介绍了为什么要做这个特性,以及特性的大体功能。其次就这个功能与参会人员进行讨论,同时也纵向地和Oracle进行对比。因为涉及到缓存,所以大家对于这个功能方案的实施非常谨慎。大家详细讨论了其稳定性和安全性,然后就适合的场景进行了讨论。

二、培训

针对你所有数据的Postgres

Bruce Momjian 来自EDB,是PostgreSQL社区全球开发组的五位核心成员之一。

培训介绍:

Postgres可以轻松处理关系数据,但它也可以处理许多非关系数据、NoSQL、联合数据仓库和数据仓库需求。本教程解释了Postgres的可扩展功能如何工作,并展示了Postgres如何处理非关系需求。它涵盖了JSON、数据分析、外部数据包装以及许多其他非关系数据类型,如全文搜索。它还包括必要的索引支持,以使这些功能可扩展。

PostgreSQL管理培训

拥有8年以上PostgreSQL经验的高级数据库工程师,以及流行的第三方PostgreSQL工具(pgpartmanpgextractormimeopgdocstore)的作者。

培训介绍:

本次培训是一个实践培训课程,用于使用CentOS7从头开始设置PostgreSQL数据库。主题包括:包装安装、群集初始化、服务管理、备份和还原、副本设置、故障转移等方面。

< 返回活动

新闻推荐

2020/03/06

支援湖北,我们共同倡议!

活动推荐