-
让品牌有温度、有情感
专注品牌策划15年
数据架构师需要学什么（数据架构师需要学什么专业）
发布时间：2023-04-30 16:08:54
稿源：
创意岭 阅读：
1628
大家好！今天让创意岭的小编来大家介绍下关于数据架构师需要学什么的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。
创意岭作为行业内优秀企业，服务客户遍布全国，设计相关业务请拨打175-8598-2043，或微信：1454722008
本文目录:
一、大数据相关证书有哪些
大数据需要考专业人员分析认证；数据科学专业成就认证；工程方面分析和优化（CPEE）证书；挖掘大规模数据集研究生证书；优化大数据分析证书；EMC数据科学家助理（EMCDSA）；Cloudera认证专家。
大数据需要学习的证书：
1、专业人员分析认证-INFORMS
CAP认证是一个严格的通用分析认证。它证明了对分析过程的端到端理解，从构建业务和分析问题到获取数据，方法，模型构建，部署和模型生命周期管理。它需要完成CAP考试（这个考试可以在100多个国家的700多个计算机的测试中心进行）和遵守CAP的道德规范。
2、数据科学专业成就认证-Columbia University
这个数据科学认证是由TheFU基金会工程与应用科学学院和哥伦比亚大学艺术与科学研究生院联合提供的。该计划包括四个课程：数据科学算法（CS/IEOR），概率与统计（STATS），机器学习数据科学（CS）和探索性数据分析和可视化（STATS）。
3、工程方面分析和优化（CPEE）证书–INSOFE
这个密集的18周课程，其中包括10个课程（讲座和实验室）为学习者分析的各个方面，包括使用大数据使用Hadoop。它专注于R和Hadoop技能，以及统计建模，数据分析，机器学习，文本挖掘和优化技能。学习者将在一个真实世界的顶点项目中实施一系列的测试评估。
4、挖掘大规模数据集研究生证书-Stanford University
为软件工程师，统计学家，预测建模师，市场研究人员，分析专业人员，以及数据挖掘者设计，此认证需要四个课程，并演示掌握高效和强大的技术和算法，从大型数据集，如Web，社交，网络图和大型文档存储库等。这个证书通常需要一到两年的时间才能获得。
5、分析证书：优化大数据-University of Delaware
主要面向商业，营销和运营经理，数据分析师和专业人士，金融业专业人士和小企业主本科课程。该计划汇集了统计，分析，书面和口头沟通技巧。它向学习者介绍了分析大数据集所需的工具，涵盖了将数据导入分析软件包，探索性图形和数据分析，构建分析模型，找到最佳模型以解释变量之间的相关性等主题。
6、EMC数据科学家助理（EMCDSA）)-EMC
EMCDSA认证表明个人作为数据科学团队成员参与和贡献大数据项目的能力。它的内容：部署数据分析生命周期，将业务挑战重构为分析挑战，应用分析技术和工具来分析大数据并创建统计模型，选择适当的数据可视化等。
7、Cloudera认证专家：数据科学家（CCP：DS）-Cloudera
CCP：DS证书展示了精英层面使用大数据的技能。它需要通过一个评估基础数据科学主题知识的书面考试。他们还必须在数据科学挑战中，通过设计和开发同行评估的生产就绪的数据科学解决方案，并在真实条件下证明他们的能力。这个挑战必须在完成笔试后24个月内通过，并且每年中的每隔一个季度提供两次机会。
8、Cloudera Apache Hadoop认证开发人员（CCDH）-Cloudera
CCDH认证演示了开发人员写入，维护和优化Apache Hadoop开发项目的技术知识，技能和能力。获得这个认证需要通过90分钟时限的50到55个活动问题的笔试。每个测试包括至少五个未评分的实验问题。
9、Cloudera Apache Hadoop认证管理员（CCAH）-Cloudera
CCAH认证演示管理员的技术知识，技能和能力配置，部署，维护和保护Apache Hadoop集群和构成Cloudera企业数据中心的生态系统项目。获得认证需要通过90分钟时限的60个问题的书面考试。
10、Cloudera Apache HBase（CCSHB）认证专家-Cloudera
CCSHB认证演示了使用Apache HBase的技术知识，技能和能力，包括核心HBase概念，数据模型，架构，模式设计，API和管理。获得认证需要通过90分钟时间限制的45个问题的书面考试。
11、Revolution REnterprise Professional–Revolution Analytics
主要内容：此认证证明了对高级分析项目使用R统计语言的能力，包括分析大数据，数据分析生命周期，高级分析的理论和方法以及统计建模的战略和实践方面。该认证要求通过包含60个选择题和90分钟时间限制的tt笔考试。
12、Vertica大数据解决方案V1-HP
此认证验证可以让学习者部署和管理Vertica Analytics Platform，帮助组织优化和利用大数据分析获利。其验证学习者可以：识别和描述Vertica架构的关键功能，安装平台，识别字符和确定Vertica中使用的投影的特征，描述如何将数据加载到Vertica，阐述Vertica集群管理概念，描述备份/恢复和资源管理，并确定如何监视和故障排除。此认证需要在90分钟内通过包含50个选择题的考试。
13、Vertica大数据解决方案管理员V1-HP
此认证证实学习者可以管理Vertica Analytics Platform，并验证其是否可以执行高级管理任务，包括：手动投影设计，诊断，高级故障排除和数据库调优。该认证要求在100分钟内通过包含60个选择题的考试。
14、IBM认证的数据架构师-大数据
IBM认证数据架构师-大数据IBM专业认证计划。
15、IBM认证的数据工程师-大数据
IBM认证的数据工程师-大数据IBM专业认证计划。
16、大数据专业人员的SAS认证
SAS认证的大数据专业数据科学。
二、大数据开发工程师以后可以从事哪些岗位？
大数据开发工程师可以从事多个不同的岗位，因为这是一个广泛而不断扩大的行业。首先，大数据开发工程师可以在大型的数据隶属的公司和机构中任职，如电信、银行、金融、物流等行业的数据中心。其次，也可以转型成数据分析师、数据挖掘工程师、数据科学家等相关职位，深入了解数据统计、机器学习、人工智能等领域的知识和技能。此外，大数据开发工程师还可以成为独立或自主从业者，或者参与大数据学术研究、数学建模、软件应用等方面。不论是哪一种岗位，大数据开发工程师都需要不断更新自己的技能和知识，保持专业和技能上的竞争优势。
三、26岁想自学数据库工程师或者大数据架构师难吗 从来没碰过代码 希望有经验的人指导下
没有任何基础的话，建议找个培训机构系统的学习一下，不建议自学，因为涉及的东西太多了，培训机构不会的话，可以找老师咨询。这是两个方向，如果你有精力的话可以两个都学，不过建议选择一样，以后在工作中如果有兴趣可以继续学习，数据库工程师相对大数据架构师容易上手一点，这两个都需要大量的经验积累，这两个行业都是高薪，但都是从基础积累起来的，而从基础做起又累薪资又低，要有心理准备。
四、etl是什么
对于做过 BI 开发的朋友，ETL 并不陌生，只要涉及到数据源的数据抽取、数据的计算和处理过程的开发，都是 ETL，ETL 就这三个阶段，Extraction 抽取，Transformation 转换，Loading 加载。
从不同数据源抽取数据 EXTRACTION ，按照一定的数据处理规则对数据进行加工和格式转换 TRASFORMATION，最后处理完成的输出到目标数据表中也有可能是文件等等，这个就是 LOADING。
再通俗一点讲，ETL 的过程就跟大家日常做菜一样，需要到菜市场的各个摊位买好菜，把菜买回来要摘一下，洗一洗，切一切最后下锅把菜炒好端到饭桌上。菜市场的各个摊位就是数据源，做好的菜就是最终的输出结果，中间的所有过程像摘菜、洗菜、切菜、做菜就是转换。
在开发的时候，大部分时候会通过 ETL 工具去实现，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微软 SQL SERVER 里面的 SSIS 等等，在结合基本的 SQL 来实现整个 ETL 过程。
也有的是自己通过程序开发，然后控制一些数据处理脚本跑批，基本上就是程序加 SQL 实现。
哪种方式更好，也是需要看使用场景和开发人员对那种方式使用的更加得心应手。我看大部分软件程序开发人员出身的，碰到数据类项目会比较喜欢用程序控制跑批，这是程序思维的自然延续。纯 BI 开发人员大部分自然就选择成熟的 ETL 工具来开发，当然也有一上来就写程序脚本的，这类 BI 开发人员的师傅基本上是程序人员转过来的。
用程序的好处就是适配性强，可扩展性强，可以集成或拆解到到任何的程序处理过程中，有的时候使用程序开发效率更高。难就难在对维护人员有一定的技术要求，经验转移和可复制性不够。
用 ETL 工具的好处，第一是整个 ETL 的开发过程可视化了，特别是在数据处理流程的分层设计中可以很清晰的管理。第二是链接到不同数据源的时候，各种数据源、数据库的链接协议已经内置了，直接配置就可以，不需要再去写程序去实现。第三是各种转换控件基本上拖拉拽就可以使用，起到简化的代替一部分 SQL 的开发，不需要写代码去实现。第四是可以非常灵活的设计各种 ETL 调度规则，高度配置化，这个也不需要写代码实现。
所以在大多数通用的项目中，在项目上使用 ETL 标准组件开发会比较多一些。
ETL 从逻辑上一般可以分为两层，控制流和数据流，这也是很多 ETL 工具设计的理念，不同的 ETL 工具可能叫法不同。
控制流就是控制每一个数据流与数据流处理的先后流程，一个控制流可以包含多个数据流。比如在数据仓库开发过程中，第一层的处理是ODS层或者Staging 层的开发，第二层是DIMENSION维度层的开发，后面几层就是DW 事实层、DM数据集市层的开发。通过ETL的调度管理就可以让这几层串联起来形成一个完整的数据处理流程。
数据流就是具体的从源数据到目标数据表的数据转换过程，所以也有 ETL 工具把数据流叫做转换。在数据流的开发设计过程中主要就是三个环节，目标数据表的链接，这两个直接通过 ETL 控件配置就可以了。中间转换的环节，这个时候就可能有很多的选择了，调 SQL 语句、存储过程，或者还是使用 ETL 控件来实现。
有的项目上习惯使用 ETL 控件来实现数据流中的转换，也有的项目要求不使用标准的转换组件使用存储过程来调用。也有的是因为数据仓库本身这个数据库不支持存储过程就只能通过标准的SQL来实现。
我们通常讲的BI数据架构师其实指的就是ETL的架构设计，这是整个BI项目中非常核心的一层技术实现，数据处理、数据清洗和建模都是在ETL中去实现。一个好的ETL架构设计可以同时支撑上百个包就是控制流，每一个控制流下可能又有上百个数据流的处理过程。之前写过一篇技术文章，大家可以搜索下关键字 BIWORK ETL 应该在网上还能找到到这篇文章。这种框架设计不仅仅是ETL框架架构上的设计，还有很深的ETL项目管理和规范性控制器思想，包括后期的运维，基于BI的BI分析，ETL的性能调优都会在这些框架中得到体现。因为大的BI项目可能同时需要几十人来开发ETL，框架的顶层设计就很重要。
以上就是关于数据架构师需要学什么相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。
推荐阅读：
赣公网安备 50019002502384号
