2025年6月3日
一次日照、青岛旅行。包括:日照滨海国家森林公园、东夷小镇、万平海口风景区、湖边骑行;栈桥、琴屿路、鲁迅公园、八大关、中山公园小麦岛、唐岛湾骑行
阅读全文
2025年5月10日
eBPF的入门例子,python + c代码,原理:辅助函数、验证器、虚拟机,编译器,映射,各种bpf指令;bpf系统调用,辅助函数,bpftool工具,bpf映射,类型格式。bpf事件,跟踪类型(进而为监控、排错、性能优化等提供数据支撑),网络类型(网络的观测、过滤、流量控制以及性能优化等),其他类型(如安全控制、BPF 扩展等)
阅读全文
2025年3月29日
MemorySegment 是Flink的最小内存分配单元、默认 32KB,先放到内存中,也可以序列化,借助KryoSerializer等、内存不够序列化到 磁盘。 HeapMemorySegment 提供了操作堆内存的方法;DataOutputView 扩展了java.io.DataOuput,提供多个写入视图、DataInputView 接口扩展了 java.io.DataInput,提供多个读取视图、MemoryManager主要用于管理排序、哈希和缓存等操作对应的内存空间,且这些操作主要集中在离线计算场景中、NetworkBufferPool通过MemorySegmentFactory申请用于存储NetworkBuffer的MemorySegment内存空间。调用过程:TaskManager –> TaskSlot –> MemorySegment。序列化和反序列化,TypeInformation 分为:BasicTypeInfo、BasicArrayTypeInfo、CompositeType、WritableTypeInfo、GenericTypeInfo
阅读全文