皇冠手机app下载如何建立最可靠的数据管道

从5名工程师的初创公司到200名工程师的独角兽公司, 皇冠手机app下载一直专注于一个目标:让商业数据像电力一样触手可及.

就在几年前,Fivetran还是一家由五名工程师组成的数据集成初创公司. 现在皇冠手机app下载是拥有200名工程师的独角兽,统计数据如下:

皇冠手机app下载付出了很多努力才走到今天. 构建一个数据管道只需要三个简单的步骤——提取数据, 处理并规范它, 然后把它写到目的地——但是皇冠手机app下载花了很多年才掌握了这些步骤.

这是皇冠手机app下载学到的核心教训:不能只构建一次数据复制解决方案,就指望它永远可靠地工作, 因为源系统太复杂了. api意外中断或工作, 而且有太多的边缘情况,只有时间——以及大量的客户——才能帮助你找到并解决它们. 除此之外, 源系统不断地发展,并要求皇冠手机app下载适应这些变化,以确保复制能够快速可靠地工作.

这就是皇冠手机app下载如何吸取教训的故事,还有其他许多故事. 皇冠手机app下载认为皇冠手机app下载的工程进化有四个不同的发展阶段:爬行, 走, 运行和飞行. 皇冠手机app下载现在正在奔跑,准备飞翔.

首先,数据管道什么时候是“可靠的”?

皇冠手机app下载认为管道是可靠的:

  • 所有预期的数据到达目的地
  • 不存在数据完整性问题
  • 任何未经授权的数据访问都被阻止
  • 可以容忍源系统的意外行为和瞬态问题
  • 同步性能足够
  • 尊重和执行区域数据要求

有一个 可靠的数据管道 归结到这些基本原则:

监控 & 可观察性. 必须设置监视和警报系统. 应该有一种方法来确定问题的根本原因,以便快速解决.

事件管理. 无论何时发生影响客户的事件,都必须有一个处理过程.

源API故障处理. 必须为源代码端故障和意外行为做好准备.

源API更改跟踪. 避免因合同变更而造成的破损, 应该有前瞻性的监控.

客户支持. 而与可靠性没有直接关系, 支持人员必须能够快速对客户请求进行分类,并决定是否需要一个简单的响应——或者是否应该将问题传递给工程团队, 很快.

还有其他方面,如安全性、隐私性和数据区域性. 皇冠手机app下载将忽略这些问题,因为它们值得单独发表一篇文章.

阶段1:爬行-让它工作

在第一阶段,皇冠手机app下载的目标是让产品工作. 当时, 组成可靠数据管道的组件需要高度的关注和严谨. 很快就什么也没发生.

监控和可观察性:皇冠手机app下载的“耻辱之墙”

皇冠手机app下载的第一个监控系统是一个预定的工作,它每天两次向开发团队发送一封包含所有失败连接器的电子邮件. 皇冠手机app下载称之为耻辱之墙. 开发团队将查看这个失败连接器的列表并解决问题——但仅是那些涉及多个连接器的问题. 在早年, 在持续的可靠性改进和特性开发之间取得平衡是非常重要的, 因为皇冠手机app下载需要继续发展皇冠手机app下载的业务.

至于可观察性,查看日志是皇冠手机app下载确定问题根源的主要方式. 工程师会引入一个修复,然后在本地运行连接器,看看它是否成功. 如果成功了,这种改变就会进入生产.

事件管理:全村

员工或客户发现任何重大事故, 一条消息被张贴在Slack的火警通道上. 开发团队一直在跟进,直到皇冠手机app下载能够确定火势已经被扑灭. 如果有任何后续工作需要, 一个任务被分配给一个工程师,在接下来的几天(或几周)处理它.

源API失败处理:做得比完美好

皇冠手机app下载依靠工程团队的勤奋来管理源代码方面的故障. 如果一个工程师考虑边缘情况并质疑任何假设, 然后皇冠手机app下载继续, 尽管皇冠手机app下载的工程团队只有5名工程师(包括CEO和VPE), 而所需的投资水平意味着它并不总是可行的.

与任何软件一样,连接器需要时间来成熟. 他们必须面对真实的客户用例和数据量,因为这是找到和解决所有源API问题的唯一方法. 通常这些问题都不会被记录下来——通常源公司的工程师并不知道它们, 要么, 这使得几乎不可能发现演示源的问题.

源API更改跟踪:皇冠手机app下载幸运吗?

尽管皇冠手机app下载有自动化测试,帮助皇冠手机app下载在源代码端找到契约变更(e.g., Facebook弃用API端点),找到它们通常是靠运气的. 如果皇冠手机app下载能够发现即将到来的合同更改,连接器就不会中断. 如果皇冠手机app下载不这样做,连接器就坏了,皇冠手机app下载必须赶紧修复它.

客户支持:24小时服务

所有的支持团队成员都在美国.S. (也包括大多数Fivetran员工). 考虑到支持存在于一个时区, 团队必须夜以继日地工作,以确保皇冠手机app下载的响应时间达到客户的期望. 皇冠手机app下载采用先到先服务的方式,没有任何指标记录.

第二阶段:步行-自动化和过程的拯救

皇冠手机app下载在班加罗尔投资了第二个工程场地. 流程和工作流不断发展,皇冠手机app下载达到了更高的可靠性水平. 是时候集中精力进一步提高皇冠手机app下载的可靠性了.

监控 & 可观测性:指标 & 机器人

依靠工程师或支持团队来检查耻辱之墙是不够的——皇冠手机app下载选择了自动化. 皇冠手机app下载创建了BugBot来为任何中断超过48小时的连接器自动归档票据.

除了日志, 皇冠手机app下载收集了一些关键指标, 比如失败连接器的数量和同步队列的大小. 皇冠手机app下载安装了自动化装置,在火灾报警通道上发布警报, 当度量达到需要立即关注的阈值时(例如,如果有太多失败的连接器).

事件管理:超级英雄

皇冠手机app下载引入了随叫随到的“超级英雄”轮岗.“这是一对在两个不同时区(PST和IST)的工程师,他们一周7天24小时都在工作. 这些超级英雄对任何传入的事件都提供了立即的响应,并且必须足够了解产品以排除所有传入的事件. 如果他们需要负责破损产品区域的团队的额外投入, 这有时意味着在地球另一端的团队上线之前会有延迟.

源API失败处理:框架 & 最佳实践

皇冠手机app下载创造了各种各样的最佳实践, 例如,递增查询数据的过程,以避免数据完整性问题. 皇冠手机app下载学习了如何在源端处理特定类型的失败,以及如何实现重试. 皇冠手机app下载的连接器框架的发展使得创建新连接器所需的工作更少. 新连接器的质量得到提高. 随着越来越多的客户使用它们,现有的连接器也成熟了, 皇冠手机app下载可以在源端处理边缘情况和问题.

源API更改跟踪:API更新签入

而不是希望不会发生什么不好的事情(并假设源api总是保持稳定), 皇冠手机app下载引入了定期签到. 负责连接器的工程师验证合同变更. 工程师们提交了解决这些变化的罚单.

客户支持:全球范围内

皇冠手机app下载专注于三个主要地区,北美,EMEA和亚太地区. 皇冠手机app下载在每个区域建立了一个支持组织,使皇冠手机app下载的团队能够实现处理高优先级问题的流程——然后在下一个支持团队上线时将它们传递给他们. 一开始皇冠手机app下载的团队很小, 皇冠手机app下载能够显著改善皇冠手机app下载的响应时间,并将皇冠手机app下载的积压票从每人100多张下降. 这种跟随太阳的过程加快了解决问题的时间,大大改善了客户体验.

让工程专注于构建软件而不是分类,这也是角色专业化的重要第一步.

第三阶段:奔跑——皇冠手机app下载的今天

今天,皇冠手机app下载的工程师分布在四个地方,皇冠手机app下载的全球支持团队分布在三个不同的时区. 此外,皇冠手机app下载还建立了一个专门的SRE(站点可靠性工程)团队,专注于Fivetran平台的可靠性.

监控 & 可观测性:运行手册 & 监控

工程团队投入了大量精力准备详细的内部文档, 警报, 以及皇冠手机app下载支持的所有服务的运行手册. 一旦问题发生,就会通知团队——甚至更早——这样就可以在问题影响到皇冠手机app下载的客户之前解决问题. 警报系统自动归档票据并通知负责团队.

除了日志和度量之外, 皇冠手机app下载有一个功能齐全的应用程序性能监视(APM)解决方案,它不仅让皇冠手机app下载了解问题的原因, 还包括如何优化性能和修复瓶颈.

事件管理:零事件策略

因为皇冠手机app下载的增长和皇冠手机app下载产品特性的复杂性, 维持一对随叫随到的工程师不再是一个可持续的解决方案. 如今,问题由该领域的专家来解决,而且解决速度要快得多. 减少全天候随叫随到的压力, 每个团队有一对位于不同时区的团队, 允许遵循太阳模型.

另外, 有一个随叫随到的经理轮岗,以确保在发生关键事件时,总有人可以随时支持团队. 所有的事故都会自动归档到皇冠手机app下载的任务管理系统中.

皇冠手机app下载有零事故政策:所有事件都在21天的时间窗口内得到处理. 这一策略意味着团队必须将事件优先于特性工作. 这种权衡是值得的:对于数据来说,一致性和可靠性至关重要.

源API失败处理:共享组件

提高连接器的质量, 现在皇冠手机app下载将它们按功能域分组,并提取共享组件. 这提高了质量, 但也允许皇冠手机app下载使类似的连接器更加一致地工作,从而使它们变得更加健壮和可预测. 皇冠手机app下载还引入了更多可重用的实用程序,以降低连接器开发的出错几率.

不管框架中的投资是多少, 可重用组件, 和共享的核心, 连接器构建需要努力和勤奋,以获得正确的数据模式. 其目标是找到获取信息的最佳方式,同时保持数据完整性,并识别和绕过源API漏洞.

源API变更跟踪:抓取文档

在源端跟踪更改的过程仍然涉及到常规的手动签入. 不过, 皇冠手机app下载正在研究一种解决方案,它允许皇冠手机app下载通过爬行源文档页面来自动跟踪更改. 早期的实验是成功的.

客户支持:客户成功的基础

Fivetran的核心原则之一是“像电力一样可靠”.“皇冠手机app下载的客户依赖于皇冠手机app下载,以可靠和完整的方式将他们所有的数据从源头传送到目的地. 这就是为什么皇冠手机app下载皇冠手机app下载客户成功的组织.

皇冠手机app下载聘请了一个全球客户成功经理团队(CSM), 技术成功经理(TSM), 并将皇冠手机app下载的支持团队发展成为全球客户支持团队(GCS). 皇冠手机app下载的GCS团队是皇冠手机app下载客户成功组织的骨干,皇冠手机app下载继续发展皇冠手机app下载支持客户的方式.

皇冠手机app下载已经完善了皇冠手机app下载的跟随太阳的过程,允许客户的要求和事件在持续的基础上被解决,直到提供一个解决方案. 皇冠手机app下载不断地监视皇冠手机app下载的解决时间,以进行增量的改进.

为此,皇冠手机app下载开展了:

  • 特性请求门户皇冠手机app下载每个月都在增加新的连接器和服务, 皇冠手机app下载为客户提供一种要求特性和连接器的方式是非常重要的.

第四阶段:飞——皇冠手机app下载的目的地

此外还有综合监测和可观测系统, 皇冠手机app下载正在建立一个管道飞行交通管制系统. 这是一个高级监控仪表板,将提供所有正在运行的同步的运行状况和性能的概览.

而一个可靠的事件管理过程是很好的, 处理突发事件的最好方法就是从一开始就防止它们发生. 这就是为什么皇冠手机app下载新的和不断壮大的QA团队正在努力工作,在新代码交付生产之前尽可能多地采取保护措施.

数据可靠性是自动化数据管道行业的必备条件, 这就是为什么五元tran要建一个 现代数据堆栈 与客户的战略.

继续建设皇冠手机app下载的自助服务能力和社区,使皇冠手机app下载能够与皇冠手机app下载的客户一起建立他们自己的数据策略. 客户可以成为真正的数据驱动企业. 它们可以打破数据竖井,并将许多数据源集合在一起,以获得组织的整体视图.

数据访问将推动业务向前发展. 但要达到这个目标需要皇冠手机app下载付出所有的奉献和精力——皇冠手机app下载必须爬行, 走, 和运行. 皇冠手机app下载的故事还没有结束:皇冠手机app下载要飞起来.

开始免费

加入成千上万使用Fivetran来集中和转换数据的公司吧.

谢谢你!! 你的意见书已收到!
哦! 在提交表单时出现了错误.