本文目录一览：
大数据学习笔记2:现代数据湖之Iceberg
1、在大数据领域，Iceberg近期备受瞩目，我将结合个人理解分享一些关键信息和特点。首先，对于数据湖的基本概念，读者可以参考我之前的文章《大数据学习笔记1：数仓、数据湖、数据中台》来了解。现代数据湖的发展和业界趋势中，核心需求在于提供高效、灵活的数据存储和处理能力。
2、Iceberg的数据组织形式基于HDFS等文件系统，数据结构和元数据结构紧密相连。数据架构包括两个主要部分：data目录和metadata目录。数据文件以parquet或类似格式存储于data目录中的分区目录下。metadata目录则包含管理数据结构的元数据文件。Iceberg的元数据***用层次结构存储，核心有两层：snapshot层和manifest层。
3、数据湖是企业中全量数据的单一存储系统，其主要特性包括存储容量极大、以原始形式存储数据、可存储任意类型的数据以及具备多样化的分析能力。数据湖通常以对象块或文件的形式进行存储。相比之下，数据仓库存在开放性、对机器学习的支持、ACID事务支持及高效Upsert/Delete等方面的问题。
4、通过使用Spark的DataFrame API，可以加载Iceberg中的数据，操作如spark.table（Iceberg表名）或spark.read.format（iceberg）.load（iceberg数据路径）。每次向Iceberg表中commit数据都会生成快照，查询所有快照可使用_[库名].Iceberg表.snapshots_命令。
5、在Spark与Iceberg的整合查询操作中，通过DataFrame API能够加载Iceberg中的数据，这可以通过调用spark.table（Iceberg表名）或spark.read.format（iceberg）.load（iceberg数据路径）实现。
GPT系列学习笔记:GPT、GPT2、GPT3
GPT作为基础的语言模型，通过自监督学习的方式，构建了无标签数据集上的预训练模型。GPT2将注意力集中在了zero-shot场景，即无需额外微调即可应用于多种任务。GPT3则将关注点转向了Few-shot学习，即在有限数据情况下，模型能够实现高效学习与应用。
GPT-2遵循相似路径，但重点在于利用更大数据集和模型容量，增强模型泛化能力。GPT-3则进一步探索模型初始化的重要性，以及元学习在少样本任务中的应用，通过MAML方法在内循环和外循环间优化，实现快速学习。
理解GPT，GPT-2与GPT3的核心在于区别它们在语言生成与理解上的目标，以及在模型结构上的不同。简而言之，GPT（Generative Pretrained Transformer）旨在生成文本，是一个专门用于生成的预训练模型，***用Decoder-Only的自回归架构。
GPT2模型类似于GPT，***用单向Transformer，进行了局部调整以提高效率。模型结构图显示了四个版本，参数量从几千万到15亿不等。GPT2无需fine-tuning流程，直接应用于零样本任务，展现出更大的数据集和模型规模优势。
从GPT2和GPT3的标题来看，Open AI发布的一系列GPT模型旨在通过autoregressive方式训练大一统的语言模型，使其具备通用和强大的表征能力。在具体应用中，即使没有或只有少量任务相关的labeled数据，语言模型也能取得良好表现。以下是三个问题，以总结看完这两篇论文的收获。
OpenAI的GPT系列预训练语言模型，从最初的GPT-1到最新的GPT-3，以其强大的无监督学习和微调能力在NLP任务中展现出惊人的效果。这一系列模型的核心是Transformer架构，通过不断增大训练语料、参数数量和计算***，实现了性能的提升。
hadoop学习笔记一
大数据是一个涵盖了数据处理技术、分析工具与平台的概念。在以Hadoop为代表的大数据技术框架上，人们能够执行各种数据分析任务。Hadoop和Spark是基础的大数据处理框架，它们支撑着实时数据处理、离线数据处理、数据分析、数据挖掘以及利用机器学习算法进行预测分析等技术的应用。
Spark的诞生旨在解决Hadoop MapReduce存在的性能瓶颈，提升数据处理的效率。Spark的特点包括速度快、易用性、通用性和兼容性，使得它成为大数据处理领域的佼佼者。Spark的组件涵盖了SparkCore和弹性分布式数据集（RDDs）、Spark SQL、Spark Streaming、MLlib以及GraphX等。
ZookeeperZookeeper，作为分布式协调服务，为分布式应用提供关键的协调和配置维护功能，确保系统的稳定性和效率。它就像一个分布式文件系统，支持数据同步、发布/订阅和集群节点协调，广泛应用于服务注册、配置管理、分布式锁和队列等场景，是构建复杂分布式应用的核心组件。
学会Python需要多久时间
1、学python要半年到一年时间。如果是自学，从零基础学习python，需要大约一年的时间，这取决于每个人的理解。如果有其他编程语言的经验，这是比较快的开始。可以写一些简单的Python语言中使用2—3个月。
2、学习Python所需的时间取决个人的学习速度、学习目标和学习方式。入门级熟练：2-4周，掌握Python基础知识，编写简单的脚本和程序。中级水平：2-6个月，深入理解Python语言和数据结构，能够编程更复杂和可扩展的代码。高级水平：6个月到几年，熟练掌握Python的高级特性，如面向对象编程、机器学习和云计算。
3、学习Python所需的时间因人而异，主要取决于学习速度、学习目标和方式。入门级熟练：通常需要2-4周，掌握Python基础知识，能够编写简单的脚本和程序。中级水平：需要2-6个月，深入理解Python语言和数据结构，能够编写更复杂和可扩展的代码。
