生而为人

程序员的自我修养

0%

专业技能

l *编程语言*:熟练掌握 Java 和 Scala,深入理解 JVM 原理及多线程编程,具备扎实的面向对象和函数式编程功底;熟练使用 Python 进行数据清洗与脚本开发;拥有极佳的 SQL 能力,精通复杂查询、窗口函数及 Hive/Spark SQL 性能调优。

l *离线计算*:熟练掌握 Hadoop 体系(HDFS、YARN、MapReduce),精通 Hive 数据仓库分层设计与元数据管理,对 Hive SQL 调优有丰富经验(分区裁剪、分桶、MapJoin、数据倾斜处理);熟练使用 Spark(Core / SQL / Streaming)进行批流一体开发,熟悉 Shuffle 机制、内存管理及算子优化,具备 TB 级以上大数据量处理经验。

l *实时计算*:熟练掌握 Flink 流式计算框架,深入理解时间语义、状态后端及 Checkpoint/Savepoint 机制,能够实现端到端的精确一次(Exactly-Once)语义;精通 Kafka 消息系统,熟悉高并发下的生产消费调优、分区策略、ISR 机制及数据可靠性保障,能独立设计高吞吐、低延迟的流处理链路。

l *数据采集与搜索*:熟悉 Flume 的架构与调优,可构建高可用的多级日志采集管道;熟悉 Elasticsearch,掌握倒排索引原理、文档映射、复杂查询与聚合分析,具备集群监控与写入查询性能调优经验。

l *综合能力*:熟悉数据仓库维度建模(星型/雪花模型)与数据治理方法论,能理解业务需求并转化为技术方案;熟悉 Linux 环境、Shell 脚本及 Git 协作;了解任务调度系统(如 Azkaban、DolphinScheduler)及数据湖技术(Hudi / Iceberg)

项目经历