信頼はずっと、挑戦はもっと。

お問い合わせ
TEL:03-3496-3888

BLOG コアテックの社員ブログ (毎週月曜~金曜更新中)

LIST OF ARTICLES

記事一覧

  • 画像:ブログサムネイル

    テクログ

    CloudWatch Logsエージェントがローテートさせるとtimestamp is more than 2 hours in future.で止まってしまう件について

    こんにちわ。パグです。本日はCloudWatch Logsエージェントのログがtimestamp is more than 2 hours in futureで止まってしまう件について書きます。現在の環境はFuelPHPで、主にFuelPHPのローテートログをCloudWatchエージェントでPUSHさせたいって内容になっています。が、恐らく他の環境のログの場合で起きた事象もこれに近しいのではないかと思います。CloudWatchLogsエージェントは導入済みで、ローテート時にうまく動かない人向けなので、そもそもCloudWatchLogsにログが反映されていない場合は別の要因によるのではないかと思います。[/server/fuelphp/logs] datetime_format = %Y-%m-%d %H:%M:%S file = /path/to/fuel/app/logs/20*/*/* buffer_duration = 5000 log_stream_name = {instance_id} initial_position = start_of_file log_group_name = /server/fuelphp/logs 他にマルチラインの設定などが必要かと思いますが、簡単に書くとこんな感じに設定。CloudWatch側では、log_group_nameで検索ができるようになりますが、翌日「 timestamp is more than 2 hours in future.」とエラーが出ておりPUSHイベントが動いていません。色々調べていて、皆大好きStackOverflowを見て見ると、以下のような記事が。https://stackoverflow.com/questions/40604940/cloudwatch-logs-acting-weirdhttps://forums.aws.amazon.com/thread.jspa?threadID=243092この記事の人に激しく同意>Yes I'm experiencing the issue too. Is there a way to reset the state file without doing this?うん。私もそう思うわ。それやらないでResetしたいんだよぉぉぉぉ。はい。じゃあ。本題です。awslogsのPUTイベントが失敗する原因は以下です。PutLogEvents オペレーションの制約に従って、次の問題によりログイベントまたはバッチがスキップされる場合があります。以下本家のマニュアルから抜粋https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/logs/WhatIsCloudWatchLogs.html注記1.データがスキップされた場合、CloudWatch Logs エージェントはログに警告を書き込みます。2.ログイベントのサイズが 256 KB を超過した場合、ログイベントは完全にスキップされます。3.ログイベントのタイムスタンプが 2 時間以上未来の場合、ログイベントはスキップされます。4.ログイベントのタイムスタンプが 14 日以上過去の場合、ログイベントはスキップされます。5.ログイベントがロググループの保持期間よりも古い場合、バッチはすべてスキップされます。単一の PutLogEvents リクエストでログイベントのバッチが 24 時間実行されている場合、PutLogEvents オペレーションは失敗します。上記の3がこの「 timestamp is more than 2 hours in future.」というエラーにあたります。タイムスタンプが実行時間より2時間以上未来日になっているので、スキップしますとのことで、最初はUTCと日本時間のズレのせいかと考えたのですが、どうもズレている時刻が異なります。実行タイムスタンプの調べ方はStackOverflowに書いてある通りで「/var/lib/awslogs/agent-state」をsqlite3で検索(JSON形式で保存されているので実行された体の時刻を調べます)調べるストリームIDは/var/log/awslogs.logに出ています。2019-09-28 06:01:02,041 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Removing dead reader [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/27.php] 2019-09-28 06:01:02,041 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Removing dead publisher [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/*/*.php] 2019-09-28 06:01:02,044 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Starting publisher for [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/28.php] 2019-09-28 06:01:02,044 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Starting reader for [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/28.php] 上記の77cbf636732d4f124469c8ccb0f71abeです。(PATHはサイトの詳細が記載してあるので少し削りました)これを検索します。[root@server]# sqlite3 /var/lib/awslogs/agent-state SQLite version 3.7.17 2013-05-20 00:56:22 Enter ".help" for instructions Enter SQL statements terminated with a ";" sqlite> select * from push_state where k="8deaef1856dda2abe912ceedc4180f53"; 上記のkの部分にストリームIDを入れると、JSONからPUSHした時にイベントが出てきます。8deaef1856dda2abe912ceedc4180f53|{"start_position": 248, "source_id": "8deaef1856dda2abe912ceedc4180f53", "first_timestamp": 1570412666000, "first_timestamp_status": 1, "sequence_token": "49599891918873079124975725871068904036184047788058782002", "batch_timestamp": 1570412666866,  "end_position": 369}|2019-10-06T21:00:13|2019-10-07T01:44:32 このFirstTimestampとbatchtimestampが明らかに前日になっています。前日になっていますが、9時間ズレとかではありません。なのでUTCの問題ではありません。なんでかなーと調べていくと、書き込まれない時に、ローテートされた後のログストリームIDがずっと変わらないではありませんか。2019-09-28 06:00:58,041 - cwlogs.push.reader - INFO - 12879 - Thread-1346 - Reader is leaving as requested... 2019-09-28 06:01:02,041 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Removing dead reader [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/27.php] 2019-09-28 06:01:02,041 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Removing dead publisher [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/*/*.php] 2019-09-28 06:01:02,044 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Starting publisher for [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/28.php] 2019-09-28 06:01:02,044 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Starting reader for [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/28.php] 2019-09-28 06:01:02,045 - cwlogs.push.reader - INFO - 12879 - Thread-1348 - Replay events end at 384. 2019-09-28 06:01:02,045 - cwlogs.push.reader - INFO - 12879 - Thread-1348 - Start reading file from 74. 2019-09-28 06:01:02,045 - cwlogs.push.batch - WARNING - 12879 - Thread-1348 - Skip event: {'timestamp': 1569618001000, 'start_position': 74L, 'end_position': 153L}, reason: timestamp is more than 2 hours in future. 2019-09-28 06:09:30,216 - cwlogs.push.batch - WARNING - 12879 - Thread-1348 - Skip event: {'timestamp': 1569618569000, 'start_position': 153L, 'end_position': 229L}, reason: timestamp is more than 2 hours in future. ダメだった時のログはこんな感じで。Removing dead publisherしてるのにStarting publisherのストリームIDが変わらない。77cbf636732d4f124469c8ccb0f71abeこの場合、翌日になっているのにずっとタイムスタンプ上9月27日の朝6時とかになっているので、9月28日のPUSHとならずに、スキップされてしまいます。原因は、FuelPHPのログって、一番上位に<?php defined('COREPATH') or exit('No direct script access allowed'); ?> こんな感じの固定文言が出ているんですけど、こいつが前日とまったく同じなものだから、Startを前日のログから検索してしまって、日付がリセットされないーって内容でした。なので、FuelPHPはCoreの LogsClassをOverwriteして2019-10-01 08:26:02<?php defined('COREPATH') or exit('No direct script access allowed'); ?>タイムスタンプを突っ込んでやりました。2019-10-07 06:00:08,256 - cwlogs.push.stream - INFO - 14088 - Thread-1 - Removing dead reader [729a61c49dafeeb9472f9bc030510546, /logs/2019/10/06.php] 2019-10-07 06:00:08,261 - cwlogs.push.stream - INFO - 14088 - Thread-1 - Starting reader for [8deaef1856dda2abe912ceedc4180f53, /logs/2019/10/07.php] すると、ログに設定した日付を判別して、勝手にローテートされるようになりました。うまくローテーションがかからなくてログの一部が翌日になったら送れなくなった人はお試しください。(Sitemapって、エラーじゃないやんけとか、いわない。)ではでは〜。
  • 画像:ブログサムネイル

    at CORETECH

    エンジニア達の装備品紹介

    こんにちは。パグです!突然ですが、DQウォークやってますか?最近街中を見渡すとプレイしている人多いですよね〜。RPG風ゲームの醍醐味と言えば、個人的には装備品のレベルアップかなと思うのですが。コアテックのエンジニア達も年々装備品をレベルアップさせているようです、本日は少しだけ、そんなエンジニア達の装備をご紹介させていただきますー。(一部雑に塗ってます)Lv.1(入社1年目:職業すっぴん:Yくん)コメント:何もないですが、大丈夫ですか…感想:うん!何もないね!まごうことなきすっぴんだね〜。コアテックに入社してすぐこの装備が与えられます。RPG的にいうと、ヒノキの棒と布の服です。Lv.2(入社2年目:職業僧侶:Yくん)コメント:あ、ディスプレイ消した方が良いですか?感想:(こやつ、こなれてきたな…)ディスプレイ3枚欲しいなぁ…ってボソッと呟いてたので、あげちゃいました。レベルアップ!!装備品的には鋼のつるぎと鎖帷子くらいにはなってる。Lv.3(入社3年目:職業盗賊:Tさん)コメント:ちょっと汚いですが…感想:うん!大分年季入ってきたね!彼もディスプレイ3枚派。過去4枚の人がいましたが・・。いる?ディスプレイそんないる?まあでも、使うのであれば、あげましょう。ディスプレイ。ポケモン達はなんなの?使役してるの?たまに放ったりするの?なんで全員こっち向いてないの?とか色々思う。そんな中堅冒険者の机。装備品的には、悪魔のつめとホーリーローブくらいにはなってる。そして・・・Lv.7(入社7年目:職業遊び人:私)2年前からMacになりましたー!じゃーん!元々Windows派だったのですが、ruby とか入れると超絶微妙なので、Mac欲しい〜!使ってみたい〜!と希望してみたところ支給されました。Macもディスプレイもう一枚貰えます。私はディスプレイ1枚で足りる方なので、1枚はチャット用と化してます。装備品的には、多分、水の羽衣とキラーピアスくらいにはなってる。ロトのつるぎが欲しいものですな!!グリンガムのムチとかさ!!!コアテックでは、入社時にマシンをWindowsかMacで選べます…更に、初期からデュアルディスプレイを支給しています!リーダー以上の場合はラップトップからも選べたりします。お好みの装備(環境)で、開発作業も捗りますね。基本的にエンジニアってさ、延々スライム狩りしてて、いきなりたまにアークデーモンとか出てきてドキドキする感じあるよね。そんな魔物狩りが楽しいコアテックでは絶賛社員募集中ですよ…!https://core-tech.jp/jobs/レベルアップして新しい装備品を手に入れましょう〜!ではまた!!
  • at CORETECH

    時短ママエンジニアの一日

    こんにちわ!パグです。社内ではSE+PLとして働いていますが、産休、育休を経て、現在絶賛子育て中でもあります。保育園のお友達ママさんとかですと、あんまりSEの人っていないので、皆一日どうやって作業分担しているんだろう?って育休中に調べてみたのですが、「実際にこうやって仕事と、家事育児スケジューリングしています〜」っていう具体例のあるサイトが同業で見つからなかったので、ちょっと書いてみようかなって思います。ある日の一日/***********************************/6:00起床、朝食、弁当準備、洗濯したりしなかったり7:00子起床、保育園準備、自分のお出かけ準備8:30保育園送りの途中まで一緒に行って、送りは家族にお任せして自分は通勤〜!9:30コアテックに到着着いてから30分以上は、チャットとかQiita見たりとか、だらだらしたいので、始業の30分前に着くくらいで出かけてます。買い物が必要な場合はAmazonFreshかPrimeNowで買い物を済ませます。10:00お仕事開始作業分担したり、話しかけたり話しかけたり話しかけたりたまにPG書いたりしてます。14:00お昼ご飯15:00午後のお仕事再開明日の準備したり、午後は自分の仕事してます。17:00〜18:00退勤退勤前に作業指示出してない人がいれば作業お願いして帰っています。リリース前などは18時頃までいたりします。19:00保育園お迎え+保育園から帰宅夕飯準備19:30夕飯、風呂準備、掃除、洗濯したりしなかったり20:00Amazon様で買い物している場合はこの辺りで届きます。20:30風呂21:30〜22:00子供と一緒に就寝/***********************************/どうでしょうか。ちなみに17時すぎると周りの人に帰れ帰れと言われます(涙)。ワーカホリック気味な私なので、帰れって言われても帰らないせいで18時までいたりします。子供は平日は保育園でたーーーーーーーっぷり遊んでくるので、私は平日は、寝る前に本を読むくらいしかしてないです(もちろんご飯やお風呂は一緒にしています)。なので、メインは家事です。平日に掃除とか洗濯とかしておいて、休日は土曜日も日曜日も子供をお出かけに連れて行きます。買い物を外ですることはあまりありません。時短です。食器は食洗機を駆使しています。時短です。掃除はものをだいたい捨てます。時短です。かなり時短してると思いますが、結構洗濯した日はスケジュール的に足が出てしまうことが多いのですが、皆さんどうやってこのマルチタスクをこなしているんでしょうか?うーん謎!私は入社して今年で7年目なので、結婚〜出産〜を経ての今なのですが、新婚旅行には長期のお休みをいただけたり・・・子供が熱を出しても真っ先に帰れと言っていただけたり・・・人生のイベント的な時にとっても良い環境なのではないかと思います。コアテックは・・・子育て中のパパママ社員も募集中ですよ・・・!https://core-tech.jp/jobs/
  • 画像:ブログサムネイル

    レビュー

    毛玉が嫌い

    こんちわ。パグですー。突然ですが、洗濯は好きですか?私は嫌いです。家事の中で一番洗濯が嫌い。洗うのも干すのも畳むのも嫌い。洗濯ってさ、生地によって手洗いしろとか、洗剤変えろとか、面倒くさい。でも掃除は好き。掃除っていうか、捨てるのが好き。なので、もう洗濯失敗したらさ、すぐ服捨てるから。なので、高い服とか、手入れ必要な服とか、長年洗濯機で洗えない服は買わなかったのに、今年は、血迷って、麻混の服を買ってしまったんですよ。そんで、忘れててすぐ洗濯機で回した・・・結果、毛玉が死ぬほどできてしまい、なんか洗い立てなのに汚い・・・3回しか着てないのに・・・。ていうか夏場に、、洗濯機で洗えない素材なんて、服としてどうなんだよ。まあ冬は冬で、ニットも洗濯機に入れちゃうので・・・もう、毛玉がね・・・毛玉が・・・とにかく毛玉が取りたい!!!ということでちゃんと洗濯表記通りに洗える子には必要ないのかもしれませんが、ついに買ってしまいました。毛玉取り機。こやつ、、すごい最高です。見た目こんなん。電源ボタン押すだけ。電池式です。LOWゲージもHIGHゲージもいけちゃうよ〜〜〜〜そんで・・・あーもう。なんか汚いよ。着れないよ。捨てるかなーと悩んだこちらのサロペット(麻混)ほらこの通り〜!!!すごい。すごいよ。毛玉取り機。同じ生地とは思えん。冬用ニットも、こやつでガンガン毛玉取ってます。ちなみに、生地は痛みますので、自己責任で!!んでも痛むからって、汚いまま着るよりいいんじゃないかな〜って。。。(クリーニングに出しましょう)じゃあまた!!!
  • 画像:ブログサムネイル

    レビュー

    折り紙っていいよね

    最近折り紙にはまっています。こんな本を買ってしまいました。https://www.amazon.co.jp/dp/B07L4VL6LS/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1カミキィの季節のおりがみ折り紙界では著名なYoutuber?の方のようです。https://www.youtube.com/channel/UCu1u0lXr88VIHpdwPn3JCNgすごいんです。センスが・・・。ほんとめちゃくちゃ可愛いデザインばっかりで、つい折り紙を買っちゃうかもしれません。リース作ってみました。<<4月>>てふてふはカミキィさんのデザインのものではないですがその他はカミキィさんのYoutubeで全部作れます。<<5月>>5月はれいわ太郎ちゃんです。6月も作ろうかなぁー。折り紙って、紙さえあればー遊べるので、飛行機で、子供がぐずった時にもおすすめです。ほ〜ら〜アーンパーンチ!!!ぐずりすぎてコキンちゃんを破壊するもの。
  • 画像:ブログサムネイル

    グルメ

    バレンタインてあったよね。

    おはこんばんちわ。パグです!!女性からしたらバレンタインてぶっちゃめんど(ryでもさ、配偶者は結構楽しみにしてるからさ、ちゃんと用意してたの、毎年。でも今年は、子がインフルになったり、自分が風邪ひいたりして、気付いたら過ぎ去ってたよ・・・。なんかすまんな・・!!ってことで、ここ数年のチョコを振り返ってみたー。5年くらい前これはキットで作った中身がとろっとしてるケーキですね4年くらい前これもキットで作ったチョコケーキ。なんか凝ってる。愛を感じる。若さも感じる。3年くらい前チョコのクリームって売ってないからさ、チョコを溶かしてクリームに混ぜたら、なんかつぶつぶになってあんまり美味しくなかった。2年くらい前前年度チョコクリームで失敗したからってカカオパウダーかけたけどこなっぽくなってあんまり美味しくなかった1年くらい前やっぱクリームは白だよね。インスタ映えも意識してるね!!ちょっとずつケーキ作りは上手くなってる気がするけど、ナッペがクソ適当だね。今年は(もう終わったけど)チョコクリームがあったらまたケーキかなー。ちなみに配偶者はホール2日くらいかけて丸々1個食いしますよ(大食い)。じゃ、またね。