缺德加冒烟

如何快速查找使用示例

比如某个spark config，可以用spark.sql.shuffle.partitions + github 的方式搜索

https://github.com/imarvinle/awesome-cs-books

https://0x0fff.com/spark-architecture/

https://blog.cloudera.com/how-to-tune-your-apache-spark-jobs-part-2/

腾讯视频

零售数字化转型：杨国安深度对话八位掌舵人

Web Doc

大数据

1. 云服务大数据文档（AWS、Azure、Google Cloud）
2. 同上(Documentation、Blog、Research等)
3. 程序员
4. waitingfor{code}.com
5. databricks

Tools

1. 教程集合加工具
2. 可以尝试

1. streaming流程中 partition or task数量是如何变化的

2. kafka offset如何查看

3. kafka earlist 真的是从最早的吗，还是从被消费掉的数据开始

4. kafka消费组问题

5. 怎么验证eventhub在不同consumer group中是分别获取的数据

6. eventhub jar包使用报错，虽然打包到application jar里

7. spark 程序中的class 为什么需要序列化

8. sparkSession sparkContext sparkContext中不包含sparkSession的config信息

9. 将kafkaProducer broadcast 遇到 can’t serilize lamda 的问题

10. 2021-08-19T15:34:18.109Z 型字符串的理解与解析

11. spark提交任务需要时间, 间隔短的batch任务就不适合，会受到严重影响

12. 同样的任务，根据参数选择不同的输入路径，将数据传输到kafka，其中a
    a的任务，基本可以保证每分钟提交，b、c都要3-4分钟提交一次，a的量比线上要大几倍（但这可能是写入到cosmos数据就多了的原因），可是数据量大，还可以很快的提交

13. Thread.sleep(sleepMillisecond) 在driver上执行有什么影响

14. 为什么protobuf解析出问题了

15. 为什么读eventhub有receiver问题

16. 任务执行任务过长，导致平均写入的文件少，无法复现throttling

17. spark streaming是如何确认开始处理一批数据的？ 使用线上的数据每批就很少，测试数据每批就很大。当然测试数据没有线上数据输入的平滑

18. driver的日志为什么只打印出了系统的info，程序里的info没有打印

19. 怎么查看azure的data center

20 structured streaming partition executor task executor-core 关系
https://blog.csdn.net/mzqadl/article/details/104217828

21.spark写文件的request请求

org.apache.kafka.common.errors.TimeoutException: Expiring for has passed since batch creation

spark.locality.wait

repartition() vs coalesce()
https://stackoverflow.com/questions/31610971/spark-repartition-vs-coalesce

How to optimize number of executor instances in spark structured streaming app?

sleep 是否会占用CPU
https://blog.csdn.net/weixin_41960204/article/details/106785986
https://www.cnblogs.com/yu6688/p/14443104.html

structured streaming 与 kafka
https://spark.apache.org/docs/2.3.0/structured-streaming-kafka-integration.html
https://www.cnblogs.com/yyy-blog/p/12753924.html

解决问题方法论
对问题列checklist
https://github.com/Azure/azure-event-hubs-for-kafka/issues/35

[toc]

参考资料

全部数学符号 https://katex.org/docs/supported.html

https://www.cnblogs.com/caomingpei/p/9760652.html

数学公式

inline math：$x^{y^z}=(1+e^x)^{-2xy^w}$

block math:

1

\frac{7x+5}{1+y^2}

$$
\mathbf{V}_1 \times \mathbf{V}_2 = \begin{vmatrix}
\mathbf{i} & \mathbf{j} & \mathbf{k} \
\frac{\partial X}{\partial u} & \frac{\partial Y}{\partial u} & 0 \
\frac{\partial X}{\partial v} & \frac{\partial Y}{\partial v} & 0 \
\end{vmatrix}
${$tep1}{\style{visibility:hidden}{(x+1)(x+1)}}
$$

文本

上下标

1. 上标：n^2^
2. 下标：n2

颜色

Markdown文字添加颜色方法总结（珍藏）
MarkDown: 为字体添加颜色

包含rgb

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

方法一：
      <font face="微软雅黑" >微软雅黑字体</font>
      <font face="黑体" >黑体</font>
      <font size=3 >3号字</font>
      <font size=4 >4号字</font>
      <font color=#FF0000 >红色</font>
      <font color=#008000 >绿色</font>
      <font color=#0000FF >蓝色</font>

方法二：
			$\color{#FF3030}{红色文字}$

rgb：
			红：255，0，0 #FF0000
      橙: 255,125,0 #FF7D00
      黄：255，255，0 #FFFF00
      绿：0，255，0 #00FF00
      蓝：0，0，255 #0000FF
      靛: 0,255,255 #00FFFF
      紫: 255,0,255 #FF00FF

背景色

1
2

<table><tr><td bgcolor=orange> 背景色是 1 orange</td></tr></table>
<table><tr><td bgcolor= BlueViolet > 背景色2 BlueViolet </td></tr></table>

表格

流程图

1
2
3
4

graph TD
    a-->b
    a-->c
    d-->e

下面是通过html语法完成的，非markdown自带功能

改变文字样式

改变文字的大小、颜色和对齐方式

自定义表格样式

折叠内容

select user_coupon_id, explode(split('0,1', ',')) as tag
from mart_waimai.aggr_act_ord_use_coupon_dd
where dt='20200920'
limit 10

html特殊字符及图标

后加”;”生效

参考资料

通用

1. 完整整理版
2. 流程图详细教程
3. 编辑数学公式
4. Markdown 高级技巧
5. markdown语法
6. Markdown进阶（更改字体、颜色、大小，设置文字背景色，调整图片大小设置居中）
7. Markdown 技巧：如何改变表格宽度（列宽）？

hexo

1. Hexo下的Markdown语法
2. 【hexo博客进阶】1.Markdown语法
3. 如何让hexo使用流程图
4. Hexo优化 — 利用 Markdown 语法画流程图

markdown工具

1. Typora
2. https://blog.csdn.net/wkd_007/article/details/124172389st=>start: Start|past:>http://www.google.com[blank] e=>end: End:>http://www.google.com op1=>operation: My Operation|past op2=>operation: Stuff|current sub1=>subroutine: My Subroutine|invalid cond=>condition: Yes or No?|approved:>http://www.google.com c2=>condition: Good idea|rejected io=>inputoutput: catch something...|request st->op1(right)->cond cond(yes, right)->c2 cond(no)->sub1(left)->op1 c2(yes)->io->e c2(no)->op2->e{"scale":1,"line-width":2,"line-length":50,"text-margin":10,"font-size":12}

https://jachinlin.github.io/geektime_dl/intro.html#%E9%A1%B9%E7%9B%AE%E7%BB%93%E6%9E%84

https://github.com/mmzou/geektime-dl

可以注释掉生成kindle的代码，因为生成的是老版本kindle，没什么用

convert -resize 1000x1000 -quality 100% /Users/cjq/资料/极客时间/13059daa26b391d55e4dc357124b51df-1621254162.png /Users/cjq/资料/极客时间/13059daa26b391d55e4dc357124b51df-1621254162.png

vertices allocated

Cosmos08 bad machine has too many vertices allocated

cosms08坏机器分配了太多的顶点

• International Organization for Standardization (ISO).
• Service Organization Controls (SOC).
• National Institute of Standards and Technology (NIST).
• Federal Risk and Authorization Management Program (FedRAMP).

达成协议

Last time, we reached an agreement on increasing the traffic from 1% to 10%.

不胜感激

So, it would be appreciated if you can increase the traffic soon.

寒暄

I hope this email finds you well!

If you have any question, feel free to let me know.

现在有紧急事情，约明天的某个时间

let’s find some time maybe tomorrow, since some urgent items now.

Please help share your ideas due to my limit experience and knowledge.

Let’s make our big-loop DRI easier together, help others and yourself

是否有问题

Let me know if have any problem or concern.

我不知道问题出在哪儿

I don’t know what the problem is.

请帮忙调查原因

please help to investigate [further].
我当前工作很忙，请给我一点儿时间

Hi team, I’m under too much workload, please give me some time to provide you further update. Thanks for your patience. I will provide a further update within 2 hrs.

有多大的可能

How much more likely

It works for me. 我无所谓,我赞成,我没问题。

Poor connection, I am disconnected 连接不好导致我失去连接

请求帮助

我遇到一些问题

1. 口语表达：I got/have/meet a problem.
2. 书面表达：I encountered（或run into 遇到）a problem.

请帮忙解决下这个问题

Please help me out with this problem.

请帮忙看下这个问题

Please help me look at this problem.

额外信息

邮件更改描述

Spinning off thread and changing name. Dropping a bunch of people to not overload with details.

邀请

Please kindly be invited to join the STCA WebXT Data All hands meeting on 4/26 (Tue) 14:00-15:30.

邮件

结尾

“公用”邮件结尾

1、 Regards / Best Regards（BR）“真挚问候”，这是最广为使用的商务邮件结尾，如果你第一次给对方写信，用这个就行了。

2、Sincerely / Sincerely Yours / Yours Sincerely“鄙人敬上”，适用性广。教科书一般都会教你用这个，但同时也造成了过度频繁使用的问题。

3、Cordially“热忱问候”，虽然看上去是这样的意思，但是这个结尾多用在比较严肃的信件中，甚至能用在有“对抗情绪”的信件里。

“公私”皆可邮件结尾

1、Yours / Yours Truly / Truly**“忠实于你”，**这种结尾比较私人化，不过也很讲礼貌，同样可用于商务邮件，在互相认识的人之间使用。

2、 Best / Best Wishes“衷心祝愿”，这个不仅可以写给朋友，还可以写给陌生人，是比较轻松的礼貌结尾，也可用于商务邮件。

“私用”邮件结尾

1、 Love “爱你的”，这个结尾富有情感，适合在给爱人、家人及密友之间的私人信件中作为结尾。

2、 Cheers “欢欣鼓舞”，在朋友和关系较熟的同事之间使用，就像平常打招呼一样轻松随意

3、 Take care“保重身体”，在朋友之间使用，可以表示对对方的关怀。

4、 Thanks / Thank You“表示谢意”，如果你在信中请求别人做事或帮助你的话，就可以写这个结尾。其中“Thanks”比较随意，“Thank You”比较正式。

附件

Please refer to attached BI & AML notification and join corresponding mail group.

sample

1
2
3
4

MZ on cosmos08 has issued and delay, there is no ETA now.
If your pipeline is only use MZ on cosmos08, will impact you. You can parent ICM to Incident-302706917 Details - IcM (microsofticm.com).
We’re working with corresponding team to fix that.
Will update if any progress.

参考资料

示例

1. 企业邮件常用100句
2. 实用的英文工作邮件
3. 英文范文

原则

1. 如何写好工作邮件

缩写

1. FY21 （fiscal year 财年）
2. RE&F 设施
3. CELA 法务

生活

1. household registry / household registration 户口 户籍

专业

1. infinite 无限
2. finite 有限
3. functionality 功能
4. snippet 片段
5. roadmap 路线图
6. assigner 指定人，分配人
7. guarantee 保证
8. overlap 部分重叠
9. attach 归属
10. trigger 扳机
11. purge 清除

Hi Patrick Chen, we have outputted several hours of data to cosmos, which were based on historical data in 2021/10/13. You may use it temporarily. The online data will be ready soon.