生而为人

夺攒

河浪：布上的水渍

各楞：固体搅拌

豁楞：液体搅拌

缺德加冒烟

你消停的啊，一点儿老实气都没有

吵吵巴火的

班大班的

如何快速查找使用示例

比如某个spark config，可以用spark.sql.shuffle.partitions + github 的方式搜索

https://github.com/imarvinle/awesome-cs-books

https://0x0fff.com/spark-architecture/

https://blog.cloudera.com/how-to-tune-your-apache-spark-jobs-part-2/

腾讯视频

零售数字化转型：杨国安深度对话八位掌舵人

Web Doc

大数据

1. 云服务大数据文档（AWS、Azure、Google Cloud）
2. 同上(Documentation、Blog、Research等)
3. 程序员
4. waitingfor{code}.com
5. databricks

Tools

1. 教程集合加工具
2. 可以尝试

1. streaming流程中 partition or task数量是如何变化的

2. kafka offset如何查看

3. kafka earlist 真的是从最早的吗，还是从被消费掉的数据开始

4. kafka消费组问题

5. 怎么验证eventhub在不同consumer group中是分别获取的数据

6. eventhub jar包使用报错，虽然打包到application jar里

7. spark 程序中的class 为什么需要序列化

8. sparkSession sparkContext sparkContext中不包含sparkSession的config信息

9. 将kafkaProducer broadcast 遇到 can’t serilize lamda 的问题

10. 2021-08-19T15:34:18.109Z 型字符串的理解与解析

11. spark提交任务需要时间, 间隔短的batch任务就不适合，会受到严重影响

12. 同样的任务，根据参数选择不同的输入路径，将数据传输到kafka，其中a
    a的任务，基本可以保证每分钟提交，b、c都要3-4分钟提交一次，a的量比线上要大几倍（但这可能是写入到cosmos数据就多了的原因），可是数据量大，还可以很快的提交

13. Thread.sleep(sleepMillisecond) 在driver上执行有什么影响

14. 为什么protobuf解析出问题了

15. 为什么读eventhub有receiver问题

16. 任务执行任务过长，导致平均写入的文件少，无法复现throttling

17. spark streaming是如何确认开始处理一批数据的？ 使用线上的数据每批就很少，测试数据每批就很大。当然测试数据没有线上数据输入的平滑

18. driver的日志为什么只打印出了系统的info，程序里的info没有打印

19. 怎么查看azure的data center

20 structured streaming partition executor task executor-core 关系
https://blog.csdn.net/mzqadl/article/details/104217828

21.spark写文件的request请求

org.apache.kafka.common.errors.TimeoutException: Expiring for has passed since batch creation

spark.locality.wait

repartition() vs coalesce()
https://stackoverflow.com/questions/31610971/spark-repartition-vs-coalesce

How to optimize number of executor instances in spark structured streaming app?

sleep 是否会占用CPU
https://blog.csdn.net/weixin_41960204/article/details/106785986
https://www.cnblogs.com/yu6688/p/14443104.html

structured streaming 与 kafka
https://spark.apache.org/docs/2.3.0/structured-streaming-kafka-integration.html
https://www.cnblogs.com/yyy-blog/p/12753924.html

解决问题方法论
对问题列checklist
https://github.com/Azure/azure-event-hubs-for-kafka/issues/35

缩写

1. FY21 （fiscal year 财年）
2. RE&F 设施
3. CELA 法务

生活

1. household registry / household registration 户口 户籍

专业

1. infinite 无限
2. finite 有限
3. functionality 功能
4. snippet 片段
5. roadmap 路线图
6. assigner 指定人，分配人
7. guarantee 保证
8. overlap 部分重叠
9. attach 归属
10. trigger 扳机
11. purge 清除

Hi Patrick Chen, we have outputted several hours of data to cosmos, which were based on historical data in 2021/10/13. You may use it temporarily. The online data will be ready soon.

[toc]

缩写

cosmos VC：

Virtual Cluster: a management tool
– Allocates resources across groups within OSD
– Cost model captured in a queue of work (with priority) within the VC

STCA：

IcM：

One Incident Management System for Microsoft.

AML：

conversion

CTI文件夹

类似于share的功能

cfrloader

[DWC](https://microsoftapc.sharepoint.com/teams/SASharedDatateam/_layouts/OneNote.aspx?id=%2Fteams%2FSASharedDatateam%2FShared Documents%2FAds Data%2FSubjectAreas&wd=target(Tools%2FDWC.one|E8008E94-A71A-4E55-AF3D-7740E1B094BC%2F)

onenote:https://microsoftapc.sharepoint.com/teams/SASharedDatateam/Shared Documents/Ads Data/SubjectAreas/Tools/DWC.one#section-id={E8008E94-A71A-4E55-AF3D-7740E1B094BC}&end)

(Data Warehouse Controller) is an orchestration system built by Ads Data team, aiming at schedule tasks with a dependency system.

S2B streaming to batch

OOSLA

NAF

Structured Computation Optimized for Parallel Execution

This module is the second of a three-part training series that provides you with insights into how to recognize security threats, helps you adopt healthy security behaviors, and gives you information on the tools and resources available