直播弹幕抓取逆向分析流程总结 websocket,flash

前端无秘密 直播的逆向抓取说到底是前端的调试和逆向技术,加上部分的dpa(深入包分析,个人能力尚作不到深入,只能作简单分析)难度较低 目前互联网直播弹幕主要是两种技术实现。 1websocket消息通信,js拿到消息再处理到dom中,逆向验证流程,和服务端建立连接后即可,逆向难度较低,消息分明文和加密两种情况,前端无秘密,加密也能找到解密的js代码。如此实现可直接用nodejs,js相关代码通用,一个比较大的坑是服务端websocket版本不一样,所需依赖socker.io包的版本也不一样,要通过各种蛛丝马迹来最终确定socker.io版本。 2flash,逆向难度较高,目前纯nodejs后台项目作不到( ...

以puppeteer抓取微指数,puppeteer基本示例,docker部署headless

还是直接上代码 /github.com/cclient/weizhishu-puppeteer 根据关键字获取微博指数 早期版本以常规的构造cookie,token,sign的访问api的方式实现,因官方改版失效 移动端web逆向反而比桌面端简单,并没有涉及到token,sign,http请求方式已经实现,公司采用直接的http请求,代码就不方便公开了,一共也就不到100行。 这里主要是尝试另处一种思路,以headless的方式来实现(虽然没必要) 选型 phantomjs 之前写过些自动化工具,开发体验很差 主要缺点 ...

kubernets基于容器日志的报警和服务自动恢复

demo地址 /github.com/cclient/kubernetes-filebeat-collector 高可用还谈不上,是对kubernete一种服务异常重启恢复的补充方案 之前已经完成了kubernete的日志的收集,日志监控,没什么好说的 kibana grafana都是很成熟的ui产品,也都支持elasticsearch数据源 主要关注点是报警及报警信息的应用 kibana基础版本不支持报警,es 产品x-pack支持报警,但这东西收费,所以不考虑 有es报警的部分产品 如ElastAlert,不知是否支持es6.3,暂时不考虑 而grafana本身也支持报警 ...

kubernets轻量 contain log 日志收集技巧

首先这里要收集的日志是容器的日志,而不是集群状态的日志 要完成的三个点,收集,监控,报警,收集是基础,监控和报警可以基于收集的日志来作,这篇主要实现收集 不想看字的可以直接看代码,一共没几行,尽量用调用本地方法实现,有工夫的可以改写成shell脚本 /github.com/cclient/kubernetes-filebeat-collector 官方的收集方案 /kubernetes.io/docs/tasks/debug-application-cluster/logging-elasticsearch-kibana/ ...