Category Archives: 默认分类

列举一下MySQL的身份验证历史发展的几个链接,供参考

4.1之前:mysql_old_passwordhttps://mariadb.com/docs/server/reference/plugins/authentication-plugins/authentication-plugin-mysql_old_password https://dev.mysql.com/doc/mysql-security-excerpt/5.7/en/account-upgrades.html 4.1开始:mysql_native_passwordhttps://mariadb.com/docs/server/reference/plugins/authentication-plugins/authentication-plugin-mysql_native_password 5.7开始:sha2https://dev.mysql.com/doc/mysql-security-excerpt/5.7/en/caching-sha2-pluggable-authentication.html 还有验证协议:https://mariadb.org/history-of-mysql-mariadb-authentication-protocols/

Posted in 默认分类 | Tagged , | Leave a comment

昨天另装了个VPS,迁移系统,遇到了很多问题

感叹,确实啊不能总是本地升级,还是要经常进行全新安装和数据转移的,否则总是停留在兼容模式,见识不到行业的发展。 昨天遇到几个问题,先说自己的责任事故:用rsync传输home目录,把普通用户的home目录搞成owned uid=0了,这用户登录之后进不去自己的目录,就去了根目录。然后我sudo chown了当前目录,把系统bin目录里的文件都chown了,此时应该已经丢失了很多setuid。赶紧用另一个已经sudo的窗口去chown回来,并给su和sudo增加setuid。然后再执行dpkg –verify,却发现没检查出多少结果来,不知道是不是dpkg根本没记录原始的mode信息?我记得以前rpm –verify应该是可以的。折腾了一会总感觉哪里不对劲,比如用vi编辑文件无法存盘,用nano却可以存盘等现象。最后决定重装。 再说几件兼容性问题:我妄图把wordpress的数据库换成Postgres,于是给wordpress安装了pg4wp插件。检查这插件发现它是运行时劫持驱动的,类似于pyMySQL monkey patch的做法,并进行了SQL方言翻译。我用pgloader转移数据的时候发现几个问题:一、字段名字的大小写问题,有些id有些ID二、Ubuntu里pgloader版本太文物了,包版本虽然叫3.6.10但实际上是3.6.4,不支持某些字段类型。搜到2020年的issue说让升级……三、MySQL从8版本开始改用类似于Postgres和Microsoft SQL server的验证方式,从unix domain socket连接的时候直接验证“对方”的用户名;但是pgloader既不支持unix domain socket也不支持mysql新版本的caching sha2 password。于是我又现场学习了30年前学习过一遍的关于mysql身份验证的知识,并成功的把MySQL 8降级到pgloader能够支持的mysql native password…… 然后手工修改大小写,勉强整理到能够显示博客内容,但是登录后直接跳转回登录页,也没错误信息也没错误日志……于是切换回MySQL做了一下WordPress数据库升级,再pgloader到Postgres,这下彻底显示不了了。放弃……

Posted in 默认分类 | Tagged , , , | Leave a comment

期权交易心得

之前因为造就了上市公司美团、以及在大肠腾讯上班的缘故,手里是有不少员工股的。但是那时候不开窍,对难以引入内地的资产也一直不算太在乎。2024秋季,NVDA突发暴跌到90几美元。当时恰好在旅游,心情不错就买了一点。但这笔操作是以美团为抵押,找券商融资而得的。2025年4月特朗普股灾,美港双跌,我的美团股票被强制平仓,我自己把剩余部分也清了,避免了进一步损失。 灾后重建阶段,我开始学习期权的知识,并尝试使用covered call加速手里剩下的NVDA股票的回升,但因为目光短浅,终止在155左右,没吃到155到180这段涨幅。 不过这段经历倒是重塑了我对证券市场的认知,从此开始,我很少交易股票,转向交易期权,并略有心得。 Long or short 如果对后面的趋势有清晰坚定的看法,可以作为买方。在AMD和OpenAI宣布合作的那天,盘前AMD暴涨。我考虑到之前已经有好几家上市公司利用和OpenAI的合作来炒作“市值管理”,觉得开盘之后应该会跌回去。虽然我错了,但是我买的PUT还是在市场情绪波动的半小时内给我带来了(扣除费用之后)3976美元的利润。 但在平常,没有什么八卦消息的时候,我只是一个卖低价PUT、卖宽跨式的卖方而已。 Call or put 除了常见的“买方风险有限、卖方风险无限”之外,期权本身的方向也是影响风险的因素。 买期权如果买反了,权利金报废是最大风险。但是还有一种情况就是方向正确,但你没能力行权而且还忘记提前平仓,冤死。我不知道这种情况会不会真的发生,希望只是停留在我的恐怖幻想中吧。在小红书上看到有人遇到了,下边评价说在最后几个小时,券商会试算行权,如果发现买方没能力行权,会强制卖出平仓,算是为买方回收一点残值吧?然而小红书上还看到,东方财富的内地ETF期权是按照弃权来处理的! 卖put,要准备好被指派,自己被迫买下股票,所以提前就得做好思想建设,要选择自己喜欢的股票和能捏着鼻子忍了的价格。在期权价格上升(股票从高价跌向行权价)过程中,券商会提高保证金要求。如果补不足,可能会被强制平仓。这种交易的极端风险是股价不但跌破期权的行权价,甚至跌到0,最后你花了行权价的钱买了一堆废纸回来,虽然也挺惨,但毕竟不是无限。 卖call,我在卖宽跨式的时候遇到过涨超范围的情况。想象一下,股价有可能涨上天,而对手还是按原来约定的行权价来找你行权,这个风险理论上是无限的。 Strike price 我喜欢选择at the money附近,偏向out的那边一点点。 作为买方,我不想花钱买内在价值。如果一开始花钱买了,我没把握将来卖掉的时候这个内在价值还依然存在。换个角度,即使还存在,这部分花费也白白占用我的资金那么长时间,也不好。 作为卖方,卖出in the money的期权,无异于刀尖舔血,这说明从一开始你就处于被对方指派的价格区间了,你卖得的这部分内在价值,其实只是借来的,很可能还要还回去。 Expiration date 因为日常卖PUT,我喜欢一个月之内的,就当每月发工资。短线操作,我一般是作为买方,可以选更短期的,提高资金使用效率。 买方真的会行权吗? 之前卖PUT的日常,其实见过挺多次跌破行权价的情况。不过我大都选择死扛了,也有8月底美团财报这种极少数割肉平仓的情况。 换位思考:如果自己是买方,距离到期日还很远的情况下,提前行权虽然可以拿到内在价值,但是需要花费行权成本,且浪费了剩余的外在(时间+波动)价值,倒不如直接卖掉,我只吃差价就好了。如果临近到期,期权的流动性比较差,这时候还愿意花钱买的估计只有卖方忍痛买回去平仓了,买方可以选择卖回,也可以选择行权吧。 到底什么人会买二手期权呢?有看法相同、但是进场比上一手更晚的人;有意见相左的人;还有卖方买回去平仓的情况。 我的日常配置 所有资金全都买券商自动申赎的货币基金,赚每天几十块钱的生存费。另外卖低价PUT,依靠卖方的高胜率搏一个中等收入。有八卦新闻时,猜方向,买期权爽一把。

Posted in 默认分类 | Tagged , , | Leave a comment

开发Telegram bot的几点心得

Telegram bot 可以是一个HTTPS服务(Webhook模式:被动push Update)或者daemon(getUpdates模式:主动pull Update),不断的从bot API server获得Update,进行处理,做出动作,而实现一些功能。 Update解析 Telegram bot收到的Update对象有个不好的地方,就是它没有自带type属性。为了判断该Update到底是什么类型,需要先试探性的检查几个特定属性是否在Update内,然后再dispatch给各个type特定的处理函数。 输入控制 考虑到bot需要处理用户私聊和群聊两种场景,在获得update之后马上进行分类是必须的。 chat id == from id的情况下,bot收到的消息是私聊的。这种情况下一般消息上不会带有at bot的标志,不过偶尔也有人手贱非要输入,建议先无脑过滤掉,再进一步处理。此类bot大部分都是查询/控制类功能的bot,需要判断:发消息的人是否有权限对我发消息进行查询和控制 chat id != from id的情况下,bot收到的消息是群聊,chat id是群的ID号,from id是发消息人的ID号。如果bot被设计为处理群里的消息,在此时需要进行进一步判断: 响应 虽然Telegram在webhook模式提供了Making requests when getting updates 功能,但似乎一次只能返回一个动作。考虑到业务的复杂性,有时候需要做出多个动作,比如群管机器人的删除/封禁动作,既要做出删除封禁动作,还要给管理员回复一个消息,甚至有时候需要延迟一段时间再做动作等等……还是建议直接调用bot API实现功能,而不要使用在返回体中调用API的方法。这玩意,也就聊胜于无吧。 限制:forwardMessage处理多图 一个经常遇到的需求就是:监听群,收到某种消息之后就自动转发到另一处。但是一旦遇到这个消息含有多个图,情况就会变得糟糕,人类看来是一个消息带了多个图,但在bot API里会被分拆成多个Update,其中第一个图和文字组成第一个Update,其它的每个图分别一个Update,它们拥有相同的media_group_id号码,似乎可以相互关联; 单从Updates的角度来看,你需要等到下一个不带media_group_id号码的消息,或者拥有不同的media_group_id号码的消息,才能确定上次的一组media已经收集齐全了,然后才能用forwardMessages一次性转发把这堆内容转发过去,这样它在目标chat里才会正确的粘连起来;如果还没有凑齐就调用forwardMessages,则多次forwardMessages转发过去的消息之间并不会自动粘连。 但问题是:并没有一个字段声明这个media group里到底有多少个内容,也没有任何情报指出Telegram保证把这一堆Update放在同一个Updates里,尤其是:Webhook模式一次只能收到一个Update、getUpdates模式你指定的limit说不定会小于拆分的瓣数,甚至拆出来的好多瓣有可能是bot的不同实例分别处理的。 再加上绝大多数bot的写作方式都是循环一圈仅处理一条Update,导致:凑齐media … Continue reading

Posted in 默认分类 | Tagged , | Leave a comment

在Python里抑制requests库的日志消息

我自己经常在自己的脚本开头使用logging.basicConfig(level=logging.DEBUG)初始化logging库,但是随之而来的就是requests会输出大量日志,甚至盖过了我自己的内容。所以我打算抑制requests的日志。 综合搜索的资料,和探索源代码,我发现: 所以只需要在basicConfig后面加一句 logging.getLogger(“urllib3”).setLevel(logging.WARNING) 就可以抑制这部分日志了。 另外,logging.Logger.manager.loggerDict是个好东西,可以检查当前到底存在哪些logger。通过检查loggerDict[‘urllib3.connectionpool’].propagate发现其为True,其上层也是True,因此,虽然这两层logger一个没handler,一个NullHandler,但是该logger记录的日志消息仍会逐层上传,最终被basicConfig的root logger处理。

Posted in 默认分类 | Tagged , , | Leave a comment

GNU和BSD版本的xargs 分隔符不同

例子:list=”a b c d e”; echo $list |xargs -n1 -I{} echo begin {} end 在Mac上执行结果:begin a endbegin b endbegin c endbegin d endbegin e end 在Linux上执行结果:begin a b c d e end 我这里的需求是有一堆输入,要分别以其为参数,执行一些命令,无论是否成功都要对所有目标执行,所以1 “一些命令”我选用shell function来实现,在其中读了$1作为本次处理的目标2 “所有目标”我选用xargs;如果选Parallel还得额外安装 结果发现xargs在切分“以空格为分隔符”的字符串的时候,GNU版本默认不切分,结果把整个“含空格分隔符的字符串”传给函数,执行了一次,而函数里又选了$1作为本次执行目标,其综合结果就是只对列表中第一个目标执行了一遍 更惨的是我对比的时候是在Mac上做的对比,怎么看怎么顺眼…… 最后请教同事,用xargs的-d参数解决的 GNU … Continue reading

Posted in 默认分类 | Tagged | Leave a comment

昨天遇到collectd exec插件的bug,顺便发现他们不按套路出牌啊

先说症状: collectd exec插件调用的几个外部脚本,其中总会随机有一个缺少COLLECTD_HOSTNAME和COLLECTD_INTERVAL环境变量。 搜了一下是这个bug https://github.com/collectd/collectd/issues/3041 然后我好奇啊,就读了一下修改前后的代码,发现collectd不按套路出牌。 带有bug的版本: 先setenv()设置主进程自己的环境变量,然后尝试fork(),如果成功,在子进程里execvp();主进程重新unsetenv()恢复主进程自己的环境变量。在多个exec密集执行的时候,都会访问主进程的环境变量,会有race condition,偶尔会发生前一个exec插件刚unsetenv()然后后一个exec插件开始fork()的情况,丢失环境变量。 修复后的版本: 先fork(),在子进程里准备环境变量数组,尝试execvpe()带签署环境变量数组作为参数,执行新进程(execvpe()为GNU专有扩展),或者先设置extern char **environ指针指向准备好的数组,然后execvp()执行新进程直接继承。 别人家套路: 先准备环境变量数组,然后fork(),在子进程里execve()并使用前述环境变量数组作为参数。

Posted in 默认分类 | Tagged , | Leave a comment

Tencent tlinux的$releasever比Redhat原版更反动

前几年我写过一篇批判$releasever的博客之后,现在工作中又用到了tlinux,而且发现它的$releasevar居然是2.2,是带小数的。但是看了看tlinux-release的主版本号确实是2,不带小数;它provide的centos-release的主版本号也是7,也不带小数。 折腾了一番,发现yum的config.py里,class VersionGroupConf下边的_read_yumvars(yumvars, root) 函数,直接提供了用 /etc/yum/vars/ 下边的文件来设置release属性的方法。

Posted in 默认分类 | Leave a comment

supervisor泄漏进程案例分析

起因 前几天使用 salt ‘*’ test.ping 的时候发现响应内容中有一些“某某minion was already deleted from tracker, probably a duplicate key“的提示信息。刚开始误以为是salt-key管理有问题,尝试删除再重新accept,但是依然会出错。到该minion上检查,发现上面运行了两套salt-minion*三层进程树,一共6个进程,其中一套的PPID为1,另一套的Parent是supervisord。 然后就开始研究这种情况是怎么产生的,发现有两种可能: 第一种可能 supervisor本身不被systemd监管,被SIGKILL信号杀死时,因为SIGKILL由内核直接处理,所以并没有机会关闭下属的进程,导致下属salt-minion进程树泄漏。而且不但salt-minion进程树泄漏,连同样被supervisor监管的另一个服务也一并泄漏,二者的PPID都变成了1号。 不过,如果supervisor本身被systemd监管,在其主进程被杀死时,systemd会给整个service slice cgroup里所有进程补刀,所以并不会泄漏进程;如果supervisor是被SIGTERM信号杀死,它也会给下属子进程发信号,一般也不会泄漏进程。 第二种可能 supervisor没有受到影响,正常运行;supervisor监管的salt-minion三层进程树的其中最高层进程(也就是supervisord的直属子进程)被SIGKILL信号杀死,随即,第二层进程exit(1) (不明原因,可能需要看一下salt-minion源码),导致第三层进程变成孤儿。经检查源代码的_spawn_as_child()函数,supervisor针对其监管下的每一个服务,都是采用 fork() + setpgid() +execve() 的方式来启动的,在调用setpgid()改变了process group id之后,第三层进程的孤儿收养关系就不再归属于supervisord进程,而是归属于1号进程。 随后supervisor会重启salt-minion服务,产生新的3个进程,加上之前剩下的,一共4个。 结论 考虑到观察到6个进程而不是4个,实际发生的大概是前一种情况 supervisor虽然有“能力”处理进程退出之后马上重启的工作,但是因为使用了setpgid()把下属服务与自己隔离,没使用cgroup机制把下属服务单独圈起来,又不具备1号的神圣地位,其实它并不知道到底下属了多少、哪些进程,从机制原理上就根本无法保证所有下属的孤儿进程都被其reap。还是建议不要在严肃场合使用 1号进程神圣,所有的服务进程监管工作都应该交给1号进程来处理

Posted in 默认分类 | Tagged , , | Leave a comment

滥用crond触发systemd-login故障一例

故障现象 2021年1月20日接到通知,要把systemd升级到219-73.tl2.10或以上、并把rsyslog一起升级,以修复/var/log/messages无日志内容的bug。经实验,发现使用yum升级两个软件包之后,systemd-logind的可执行文件也被更新,导致该服务处于原可执行文件已删除的状态,所以我提议,在升级步骤中增加重启systemd-logind服务的动作。在Ansible playbook里,因为不能表达“大于219-73.tl2.10“这种范围型版本号,所以就明确指定systemd的版本为当前yum能自动安装到的最新版本219-78.tl2.3 2月1日由同事执行更新操作之后,大部分节点都正常工作,但有两台发生重启事故,另有一台上的 35777 systemd-login进程占内存高达4~6G。这三台恰好是一组elasticsearch的三台master节点,均为C8机型,即16G内存的kubernetes容器。 检查修复 我尝试重启剩余的这台的system-logind,发现新进程3851号仍然占6G内存。查看/proc/3851/smaps,该区域为heap;用pmap命令查看,显示为[ anon ]。对比正常服务器的同一个内存区域,才244K而已。 检查三台故障机及其宿主机的日志,发现大量oom记录,其中重启的两台所属宿主机的kubelet也发生故障重启:Feb 1 18:43:50 TENCENT64 kubelet: panic: runtime error: invalid memory address or nil pointer dereference 先gcore一份保留故障现场。由于操作系统组同事不登录上来观察,仅提供重启进程等建议,我只好自己做检查。根据建议,检查了dbus服务(dbus-daemon进程),发现也是可执行文件被删除的状态。检查yum日志,发现在去年6月升级了dbus包,但是服务进程是3月5日启动的,也就是升级包的时候并没有重启这个服务。再次尝试重启systemd-logind,新进程14278号,发现用内存VmPeak: 5270484 kB;但是过了一会儿再观察,发现增加到了VmPeak: 6599828 kB。这说明内存的增长是一个过程,虽然增长比较快,但并不是一下子就6G的。于是我决定strace一下它。 先关闭systemd-logind服务。使用命令strace -ff -s 1000 -p 1挂在systemd主进程上做跟踪,并用-o参数把多个进程的跟踪记录分别写在文件里。然后启动systemd-logind服务。这样,strace可以跟踪到 1号进程clone+execv执行systemd-logind的瞬间,以及systemd-login最开头的行为。检查systemd-login的strace记录,发现大量访问 /run/systemd/session/ 目录下面文件的动作。检查该目录,发现大量残留文件。搜索,发现 https://www.jianshu.com/p/343a072e2521 … Continue reading

Posted in 默认分类 | Tagged , , | Leave a comment