信頼はずっと、挑戦はもっと。

お問い合わせ
TEL:03-3496-3888

BLOG コアテックの社員ブログ (毎週月曜~金曜更新中)

LIST OF ARTICLES

記事一覧

  • テクログ

    cURLのメモリリーク

    こんにちは、kaiです。最近新作ゲームをプレイ中に自宅PCのメモリ使用率が95%まで上がったことがあって(windows defenderの問題でした)、メモリリークって怖いな…と思う今日この頃ですが、それに関連して今回は担当していた案件で遭遇した問題について紹介します。取得したURLにPHPのcURL関数を用いてアクセスするプログラムを作成したところ、実行中、時間を追うごとにサーバーのメモリ消費量が増大していく現象が発生しました。プログラム側ではスタックし続けるような処理を実装していないので、調査したところ、curlの古いバージョンにはキャッシュを蓄積し続けるバグが存在しておりプログラム実行中にはメモリが解放されずに消費されていくことが分かりました。そこで暫定の対応ではありますが、curl利用部分を個別のプログラムとして切り出し、そこにURLを分割して渡すことでメモリ消費を抑える形に改修しました。追々バージョンアップや別の方法に変えたいところですね…まだ記事作成時点でテスト中ですが、結果や追加対応などはまた報告できればと。外部要因の不具合はなかなか出くわさなかったので個人的には良い経験になったと思います。ではまた。・参考URLhttps://qiita.com/digitalpeak/items/4b39fdcb8fae7d09f406https://blog.eviry.com/entry/2019/07/23/160715_1
  • テクログ

    NetBeansを使ってのちょっとした便利機能

    お久しぶりです。まーくんです。複数のプロジェクトファイルを同時並行で開いていると、どのファイルがどのプロジェクトのかわからなくなることありませんか。まーくんは最近ありました。その時に便利なNetBeansの便利な機能があったので紹介します。▼デフォルトの状態だとこんな感じの横一列(別々のプロジェクトで1ファイルを開いている状態)▼便利な機能を使うとこんな感じでそれぞれのプロジェクトごとに複数行でファイルがわかれてくる。やり方はツールタブ→オプションのモーダルを開く→外観選択→複数行タブにチャック→1プロジェクトにチェック→ついでに同じプロジェクトのファイルと同じ背景色を選択をするだけ。これだけでとてもみやすくなるので、ぜひ試してみてください。
  • テクログ

    FuelPHPでのクーロンログ

    FuelでのログはView側では、大本(言い方)try {} catch () {}でくくられているため、基本全てのエラーが吐き出されるようになっています。そして、タスク(cron)実行する際にもログが出てほしいな~と思い、調べた結果です。タスクの場合Fuelの本体とは別のロジックとなっており、ログに吐き出すようにするには、コーダーさんが処理内にtry {} catch () {}などでくくらなければエラーを明示的に吐き出すことができませんでした。(なぜ・・・)参考サイトとしてリンクを貼りますが(https://qiita.com/notona/items/b821ed0ad04ac3ef8f80)以下のようなことが書かれておりました~~~~~php7 では一部のエラーが Error例外 として throw されるようになりました。そのため Error と ErrorException がどちらも実装しているインターフェースになっている Throwable でキャッチする~~~~~ざっくりいうと、エラーを拾う(出力させる)ためには、タスク処理をごっそりと「try {} catch (\Throwable $e) {}」でくくる必要がある。もしくは、エラー出力としcronに設定する際に0 0 1 * * [php path] [oil path] refine [task name] 2>> [output file name]`date +\%Y\%m\%d`.logのように、cronを設定する必要がある(この場合は try {} catch () {}の必要はない)ただ、oil深くまで潜ると。。。。ありました!!エラー時には、コンソールに表示させる記述が。こいつを、オーバライドして、ログに吐き出されるようにすれば、タスクが実行されて、try {} catch () {}でくくらなくても、うまくいく(はず)※やって見る方は自己責任でお願いします。
  • テクログ

    スプレッド演算子

    スプレッド演算子(可変長引数)【...】←この三点リーダーみたいなやつのこと読んで字のごとくですが、関数に渡す引数を任意の個数渡すことが出来ます。悩んでたんです、既に用意されている(実態がない)関数の引数が可変長だったのです。。。それをどのようにすれば、可変で引数を渡せるのか。その時に出会いました!!使用する機会が最近ありましたので、簡単な例を載せてご紹介いたします!<?php // [...]引数が過変数で受け取ることが可能 public function my_method (int ...$nums) {   // init   $sum = 0;   foreach ($nums as $num)   {     $sum += $num;   }   return $sum; } my_method(1,2,3,4,5);  // output = 15(引数が5つ) my_method(10,20,30);   // output = 60(引数が3つ) ...のように引数の数を可変で渡せる これは、かなり便利!!そうそう使う機会は多くはないとは思いますが、是非!「ここだ!」と思うタイミングで使ってみては?それでは、これにてm(_ _)m
  • テクログ

    CloudWatch Logsエージェントがローテートさせるとtimestamp is more than 2 hours in future.で止まってしまう件について

    こんにちわ。パグです。本日はCloudWatch Logsエージェントのログがtimestamp is more than 2 hours in futureで止まってしまう件について書きます。現在の環境はFuelPHPで、主にFuelPHPのローテートログをCloudWatchエージェントでPUSHさせたいって内容になっています。が、恐らく他の環境のログの場合で起きた事象もこれに近しいのではないかと思います。CloudWatchLogsエージェントは導入済みで、ローテート時にうまく動かない人向けなので、そもそもCloudWatchLogsにログが反映されていない場合は別の要因によるのではないかと思います。[/server/fuelphp/logs] datetime_format = %Y-%m-%d %H:%M:%S file = /path/to/fuel/app/logs/20*/*/* buffer_duration = 5000 log_stream_name = {instance_id} initial_position = start_of_file log_group_name = /server/fuelphp/logs 他にマルチラインの設定などが必要かと思いますが、簡単に書くとこんな感じに設定。CloudWatch側では、log_group_nameで検索ができるようになりますが、翌日「 timestamp is more than 2 hours in future.」とエラーが出ておりPUSHイベントが動いていません。色々調べていて、皆大好きStackOverflowを見て見ると、以下のような記事が。https://stackoverflow.com/questions/40604940/cloudwatch-logs-acting-weirdhttps://forums.aws.amazon.com/thread.jspa?threadID=243092この記事の人に激しく同意>Yes I'm experiencing the issue too. Is there a way to reset the state file without doing this?うん。私もそう思うわ。それやらないでResetしたいんだよぉぉぉぉ。はい。じゃあ。本題です。awslogsのPUTイベントが失敗する原因は以下です。PutLogEvents オペレーションの制約に従って、次の問題によりログイベントまたはバッチがスキップされる場合があります。以下本家のマニュアルから抜粋https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/logs/WhatIsCloudWatchLogs.html注記1.データがスキップされた場合、CloudWatch Logs エージェントはログに警告を書き込みます。2.ログイベントのサイズが 256 KB を超過した場合、ログイベントは完全にスキップされます。3.ログイベントのタイムスタンプが 2 時間以上未来の場合、ログイベントはスキップされます。4.ログイベントのタイムスタンプが 14 日以上過去の場合、ログイベントはスキップされます。5.ログイベントがロググループの保持期間よりも古い場合、バッチはすべてスキップされます。単一の PutLogEvents リクエストでログイベントのバッチが 24 時間実行されている場合、PutLogEvents オペレーションは失敗します。上記の3がこの「 timestamp is more than 2 hours in future.」というエラーにあたります。タイムスタンプが実行時間より2時間以上未来日になっているので、スキップしますとのことで、最初はUTCと日本時間のズレのせいかと考えたのですが、どうもズレている時刻が異なります。実行タイムスタンプの調べ方はStackOverflowに書いてある通りで「/var/lib/awslogs/agent-state」をsqlite3で検索(JSON形式で保存されているので実行された体の時刻を調べます)調べるストリームIDは/var/log/awslogs.logに出ています。2019-09-28 06:01:02,041 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Removing dead reader [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/27.php] 2019-09-28 06:01:02,041 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Removing dead publisher [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/*/*.php] 2019-09-28 06:01:02,044 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Starting publisher for [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/28.php] 2019-09-28 06:01:02,044 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Starting reader for [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/28.php] 上記の77cbf636732d4f124469c8ccb0f71abeです。(PATHはサイトの詳細が記載してあるので少し削りました)これを検索します。[root@server]# sqlite3 /var/lib/awslogs/agent-state SQLite version 3.7.17 2013-05-20 00:56:22 Enter ".help" for instructions Enter SQL statements terminated with a ";" sqlite> select * from push_state where k="8deaef1856dda2abe912ceedc4180f53"; 上記のkの部分にストリームIDを入れると、JSONからPUSHした時にイベントが出てきます。8deaef1856dda2abe912ceedc4180f53|{"start_position": 248, "source_id": "8deaef1856dda2abe912ceedc4180f53", "first_timestamp": 1570412666000, "first_timestamp_status": 1, "sequence_token": "49599891918873079124975725871068904036184047788058782002", "batch_timestamp": 1570412666866,  "end_position": 369}|2019-10-06T21:00:13|2019-10-07T01:44:32 このFirstTimestampとbatchtimestampが明らかに前日になっています。前日になっていますが、9時間ズレとかではありません。なのでUTCの問題ではありません。なんでかなーと調べていくと、書き込まれない時に、ローテートされた後のログストリームIDがずっと変わらないではありませんか。2019-09-28 06:00:58,041 - cwlogs.push.reader - INFO - 12879 - Thread-1346 - Reader is leaving as requested... 2019-09-28 06:01:02,041 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Removing dead reader [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/27.php] 2019-09-28 06:01:02,041 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Removing dead publisher [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/*/*.php] 2019-09-28 06:01:02,044 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Starting publisher for [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/28.php] 2019-09-28 06:01:02,044 - cwlogs.push.stream - INFO - 12879 - Thread-1 - Starting reader for [77cbf636732d4f124469c8ccb0f71abe, /logs/2019/09/28.php] 2019-09-28 06:01:02,045 - cwlogs.push.reader - INFO - 12879 - Thread-1348 - Replay events end at 384. 2019-09-28 06:01:02,045 - cwlogs.push.reader - INFO - 12879 - Thread-1348 - Start reading file from 74. 2019-09-28 06:01:02,045 - cwlogs.push.batch - WARNING - 12879 - Thread-1348 - Skip event: {'timestamp': 1569618001000, 'start_position': 74L, 'end_position': 153L}, reason: timestamp is more than 2 hours in future. 2019-09-28 06:09:30,216 - cwlogs.push.batch - WARNING - 12879 - Thread-1348 - Skip event: {'timestamp': 1569618569000, 'start_position': 153L, 'end_position': 229L}, reason: timestamp is more than 2 hours in future. ダメだった時のログはこんな感じで。Removing dead publisherしてるのにStarting publisherのストリームIDが変わらない。77cbf636732d4f124469c8ccb0f71abeこの場合、翌日になっているのにずっとタイムスタンプ上9月27日の朝6時とかになっているので、9月28日のPUSHとならずに、スキップされてしまいます。原因は、FuelPHPのログって、一番上位に<?php defined('COREPATH') or exit('No direct script access allowed'); ?> こんな感じの固定文言が出ているんですけど、こいつが前日とまったく同じなものだから、Startを前日のログから検索してしまって、日付がリセットされないーって内容でした。なので、FuelPHPはCoreの LogsClassをOverwriteして2019-10-01 08:26:02<?php defined('COREPATH') or exit('No direct script access allowed'); ?>タイムスタンプを突っ込んでやりました。2019-10-07 06:00:08,256 - cwlogs.push.stream - INFO - 14088 - Thread-1 - Removing dead reader [729a61c49dafeeb9472f9bc030510546, /logs/2019/10/06.php] 2019-10-07 06:00:08,261 - cwlogs.push.stream - INFO - 14088 - Thread-1 - Starting reader for [8deaef1856dda2abe912ceedc4180f53, /logs/2019/10/07.php] すると、ログに設定した日付を判別して、勝手にローテートされるようになりました。うまくローテーションがかからなくてログの一部が翌日になったら送れなくなった人はお試しください。(Sitemapって、エラーじゃないやんけとか、いわない。)ではでは〜。
  • テクログ

    ISUCON8の予選問題について、環境構築してみる

    ISUCON8の環境構築してみたISUCON、ご存知ですか?http://isucon.net/一言でいうと、WEBサービスのチューニングバトルです1回も出たことないですが、毎回盛り上がってるみたいです。今回はISUCON8の予選問題の環境構築をやってみました。公式やGitにもいろいろ書いてあるのですが・・・かなり苦戦しました・・・vagrantが入っていることが前提です。あとPHPです。1.ここに予選のアプリケーションのソースがあがっているので、自分のPCの好きなところにcloneしましょうhttps://github.com/isucon/isucon8-qualify2.ここに各種vagrantの設定ファイル等があるので、今回はisucon8-qualifier-standaloneで(一台構成ver)ファイルを落としてきて1と同じディレクトリにvagrantfileを置きますhttps://github.com/matsuu/vagrant-isucon3.vagrant up どん!4.vagrant up したら、vagrant sshします5.https://github.com/isucon/isucon8-qualifyここ 環境構築に書かれてることをひたすらやる6.PHPで動かしたいので初期でperlが起動しているのを停止してphpを起動sudo systemctl stop  torb.perl sudo systemctl disable torb.perl sudo systemctl start  torb.php sudo systemctl enable torb.php 7.phpでwebサイト見るためにh2oのconfファイルシンボリックリンク貼り直しと再起動sudo rm /etc/h2o/h2o.conf sudo ln -s /etc/h2o/php-h2o.conf /etc/h2o/h2o.conf sudo systemctl restart h2o 8.mariadbが起動していないので起動sudo service mariadb start 9.DBに初期データ流し込むためにシェル実行/home/isucon/torb/db/init.sh 10.vagrantfileに書いてあるIPにアクセスこれで画面が見れるはず・・・!!!!ですベンチもvagrantで実行すると初期の点数が見れるはず・・・です!!