您是否发现自己参与了一个数据项目，却对他们所谈论的内容一无所知？在办公室厨房的有趣讨论中感到被排除在外？如果有一本涵盖所有概念和流行术语的庞大指南就好了......不久前，我加入了Deepnote，担任软件工程师。Deepnote为数据团队提供云笔记本。然而，我并没有任何数据背景。但我知道什么是笔记本，并认为从事这种项目会很有趣。我并不认为数据领域和软件工程相距太远，总是把它们视为相关领域。加入后不久，我意识到我对数据一无所知！除了笔记本，还有很多数据工具，我不知道它们的用途或数据科学的一般工作流程。如果我不知道各种数据工具通常如何使用或它们如何与笔记本交互，我就无法为笔记本提出好的功能建议或发现问题的用户界面流程。但在阅读了大量文章、向同事和网络上的陌生人提问、研究客户的工作流程及其面临的挑战，并给自己留出一些时间消化这些新知识后，情况改善了。不幸的是，没有一个方便的“为在数据公司工作的软件工程师提供的数据工具指南”，或者我根本找不到。我不再从事笔记本工作，但数据让我着迷，我的下一个工作也是在这个领域。这次我在为分析型专家工作，而不是科学型专家（详细解释请见下一章！），但关于数据工具和流程的基本知识仍然非常有用！所以我试着将其浓缩成一篇易读的文章，希望能帮助迷茫的软件工程师感到稍微舒服一些。本文适合谁 正如您可以猜到的，我并不真的想成为一个数据专家。因此，本文不会涵盖如何在Metabase中创建仪表板、统计学基础或如何管理Spark集群等内容。它旨在面向那些因某种原因需要了解数据团队所有人所谈论的内容的开发者。在本文中，我们将简要介绍数据生命周期：数据从哪里来，如何处理，如何存储，以及如何展示。您将了解每个特定工具属于哪个阶段以及它为从事数据工作的人解决了哪些任务。我们不会详细讨论如何设置每个工具或深入比较同类工具。相信我，这篇文章即使不涉及任何细节也会相当冗长。 数据职业类型 在数据世界中，有许多不同的职位，并且并不总是清楚一个职位与另一个职位之间的确切区别。这里的界限其实很模糊，尤其是在小公司或团队中。但为了本文的目的，您需要理解的是，大致上有四种类型的数据职业。 分析型 这是一个解释数据、尝试从中获取一些见解并展示它的人。通常这将是数据分析师或BI分析师的职位。他们通常精通SQL和电子表格。他们使用不同的商业智能（BI）工具，如Tableau和电子表格软件（如Excel）。对于这一类型的日常任务，例如使用SQL提取客户数据，按地区计算流失率。然后构建一个展示流失趋势的Tableau仪表板，并向市场营销部门展示研究结果，并提出留存活动的建议。 科学型 这是一个深入挖掘表面报告的人。他们应用统计学，构建模型，并进行实验，以回答不太明显的问题或做出预测。通常这将是数据科学家的职位。他们通常精通Python及其科学栈（pandas，scikit-learn等），并且经常在笔记本中工作。对于这一类型的日常任务，例如采用相同的客户数据，探索哪些因素与流失相关，并构建一个统计模型来估计每个客户离开的可能性。然后为留存活动设计A/B测试，并分析它是否真的有成效。 工程型 这是一个关注数据基础设施的人。他们的主要工作是使数据可以被分析：构建和维护将数据从各种来源提取、清洗和标准化的管道，并将其加载到数据仓库或湖中，以便分析型和科学型人员能够实际开展工作。他们通常还负责维护数据库和管理组织中可能使用的其他数据工具。通常，这个职位被称为数据工程师。他们工作的另一面是扩展。某些科学型和分析型人员产生的工作需要扩展。