エントロピー 計算。 熱力学の基礎

情報理論の基礎~情報量の定義から相対エントロピー、相互情報量まで~

エントロピー 計算

情報量 私達が「情報」と聞いて思い浮かべるものは様々です。 例えば、今日の天気だとか、料理のレシピ、さらには誰々が誰々と付き合っているなんてものも、全て「情報」でしょう。 今日のサハラ砂漠は晴れだった。 今日のサハラ砂漠は雨だった。 この2つの情報のうち、情報量の多いのはどちらでしょうか?そもそも、前者の情報「今日のサハラ砂漠は晴れだった」を聞くのと、後者の「雨だった」というのを聞くのとでは、全然驚きが違いますよね。 多分普通の人は「雨だった」と聞いたほうが「晴れだった」と聞くときよりも、何倍も驚くはずです。 ということはこの場合、「雨だった」という情報のほうが「大きな」情報であると考えられます。 なぜ「砂漠で雨が降った」という情報が人に驚きを与えるのでしょうか?それは、その出来事があまり起こりそうもないことだからです。 逆に「砂漠で晴れた」という情報はほとんど驚きを与えませんが、これはその出来事が頻繁に起こっていることだからです。 このように考えると、ある出来事が起こる「確率」が情報量に結びついていそうです。 確率が小さいものほど情報量は大きく、確率が大きいものほど情報量は小さいわけです。 そこで、このことを数式に書き表してみます。 確率が情報量と密接に結びついていることがわかったところで、次に、2つの情報が入ってきたときの情報量について考えてみましょう。 2つの情報が全く独立に送られてきたとき、全体の情報量は、直感的にその2つの情報量の足し算になるべきですよね。 このことも数式にしてしまいます。 高校数学を思い出してください。 このページでもこの記法を採用します。 一方でコンピュータでこの情報を送るときのことを考えてみましょう。 平均情報量・エントロピー 次に平均情報量を定義します。 5 式は、2つの情報現を1つに「つなげて」考えたエントロピーなので、これは 結合エントロピーと呼ばれます。 だから単純な和にはならないのです。 早速計算してみましょう。 直感をそのまま式にした感じですね。 このままだとかなり複雑で意味がわかりにくいので、この数式を噛み砕いてみましょう。 あまりこういう書き方は見たこと無い気もしますが、説明のために使います。 さて最後に、結合エントロピーに関して、直感的には当然と思われる性質を1つ示して終わりにしたいと思います。 よって、次がいえます。

次の

情報基礎 「Pythonプログラミング」(ステップ7・統計計算・情報量と情報エントロピー)

エントロピー 計算

エンタルピー、エントロピー 熱力学には熱や仕事のエネルギーなどが相互に関係している。 これらの性質は圧力、温度、体積になどの条件によって記述される。 それぞれ物質の集まりを系と呼び、その他の部分を外界と呼ぶ。 この「物質、エネルギー、外界」には「 開いた系、孤立系、閉じた系、断熱系」の4つの系が存在する。 理想気体の状態は pV=nRT で表される。 このとき圧力p、体積V、物質量n、温度Tは気体の状態が決定すると決まってくる。 このように系の状態が決定することで決まる量を 状態関数または 状態量という。 エンタルピー 熱力学第一法則とは「孤立系ではエネルギーは形を変え、相互に変化することはあるが、新たに発生したり消えたりしない」という エネルギー保存の法則である。 この条件下でも熱量qは状態関数の変化量となる。 ここで、新しい状態関数「エンタルピーH」を定義する。 エンタルピーとは「圧力一定の条件で系がもつエネルギーである」と考えることができる。 下の図では反応する前の系のエンタルピーよりも生成した系のエンタルピーの方が低い。 つまり、エンタルピーが減った分だけエネルギーが減ったということである。 圧力一定で系のエネルギーが減ったということは、減ったエネルギー分だけ熱量を放出したことになる。 つまり、吸熱反応である。 エントロピー エントロピーSとは乱雑さの指標となる状態関数である。 孤立系においての自然変化はエントロピーは増大する方向に働く。 熱力学第二法則とは「可逆反応ではエントロピーは一定であり、不可逆反応ではエントロピーは増大する」と表現されている。 熱い湯に冷たい物質を入れると温度が下がり、湯と物質の温度は同じになる。 これは熱いものから冷たいものに熱が移動したためである。 物質がさらに冷たくなり湯が沸騰をはじめるという、冷たいものから熱いものへ熱が移動する反対の変化は起こらない。 これは不可逆反応であり、エントロピーは増大する方向へ働く。 エントロピーは次の式で求めることができる。 熱力学第三法則は「すべての完全結晶のエントロピーは絶対零度で0である」としている。 ・エントロピーの意味 ボルツマンはエントロピーを、統計力学の立場から S = k・lnW と定義した。 kはボルツマン定数とよび、気体定数をR、アボガドロ数をNとすると次のように表せる。 この二つの容器を体積vに分割して考える。 V 1の容器にm個の分子があるとする。 もし、体積がV 1からV 2に変化したとするとそのときのエントロピーの変化量は次の式で表すことができる。 そこで、一般的な反応の方向を知る必要がある。 孤立系以外で 反応が自然に起こるかどうかを知ることができる状態量としてギブスエネルギーG 自由エネルギー が定義されている。 ギブスエネルギーGは次のように表される。 ・ギブスエネルギーと平衡定数 いま、次のような四つの気体の化学反応があるとする。 このときのギブスのエネルギーは次のように表せる。

次の

[入門]初心者の初心者による初心者のための決定木分析

エントロピー 計算

熱力学の基礎 化学統計熱力学 このページは平成13年度まで担当していた化学統計熱力学演習(2年春学期)の参考のために作ったものです。 化学統計熱力学とは ・・・ 化学に関する次のような基本的疑問に答えを出す学問 1 ひとつの物質,あるいはいくつかの物質の集合について,ある外的条件のもとで,どのような状態が安定であるか。 また,その変化を起こさせるためにはどんな条件が必要か。 (例)H 2とO 2が反応してH 2Oになる条件は? 4 ある変化が起こるときに,外界(周囲)との間にどんな相互作用があるか。 (例)H 2とO 2が反応してH 2Oになるときの熱の出入りは? DU=Q+W (エネルギー保存則) 系の状態変化(圧力・体積・温度等)を規定するために, 内部エネルギーUを定義する。 内部エネルギーの絶対値を知ることはできない。 その変化のみ(熱と仕事によってわかる)を取り扱う。 熱・仕事は系と周囲との間を移動するエネルギーの形態。 DUは,熱によるものであっても仕事によるものであっても,その両方によるものであっても,状態間の変化量によってのみ表される。 これは,Uは状態量(変化の道すじに無関係),QおよびWは状態量でない(変化の道すじに依存する)ことを示している。 しかし,Qは状態量ではないので扱いにくい。 一定圧力pのもとでの状態Aから状態Bへの変化を考える。 そこで エンタルピーHを定義する。 熱力学の世界に存在する力は「圧力」,変位は「体積変化」に他ならないから,熱力学で扱う仕事はpV仕事である。 ただし,電池を取り扱う際,pV仕事の他に「起電力」と「電荷移動」の積で表される「仕事」が現れる。 熱容量 熱は熱容量と温度で表すことができる。 熱力学では,定容熱容量および定圧熱容量が登場する。 これで,状態変化(特に固・液・気相間)に伴う熱の出入りと化学変化に伴う熱の出入り(反応熱)は計算できる。 ところが,熱力学第1法則はエネルギー論そのものであるから,変化がどちらに進むか,変化が自発的に進むか,変化がどのくらい進むかという,いわゆる「平衡」に関する挙動を説明することができない。 すなわち,例えば 「熱が低温から高温に流れる」 「熱エネルギーを完全に力学的エネルギー(仕事)に変えることができる」 という,実際には絶対に起こらない現象を熱力学第1法則は否定しない。 そこで,平衡,あるいは平衡状態へと向かって動く傾向を示すための新しい熱力学量が必要となる。 これがエントロピーSである。 2.熱力学第2法則 エントロピーSの定義 dS=dQ rev/T (可逆過程) エントロピー変化: DS=Q rev/T (可逆過程) これは,「 等温でのある状態変化に伴う エントロピー変化は,その変化を 可逆的に行ったときに移動する 熱量を 絶対温度で割ったものに等しい」ことを示している。 (エントロピーは概念が抽象的であり,なぜ熱量を温度で割るかという問題は,直観では理解しがたい。 エントロピーの歴史的経緯については成書に譲り,ここでは触れないことにする。 ) 注目している状態変化が 「可逆」か 「不可逆」かということは非常に重要であって,エントロピー変化 DSを計算できるのは可逆過程のみ,不可逆過程で移動する熱量Qに対しては D Sは計算できない。 したがって, DSの計算は,可逆過程での熱量Q revをいかに導出するかによる。 ここで熱量Q revは,定圧下での等温変化では DHの値,温度変化がある場合には,dQ V=dU=C VdT (定容),dQ p=dH=C pdT (定圧)を用いて求めることが多い。 可逆と不可逆 可逆・・・平衡状態のままの変化の過程 不可逆・・・自然に起こる変化の過程 (可逆過程は仮想的なもので,現実には絶対に起こらない。 現実に起こる自然の変化はすべて不可逆過程である。 ) エントロピーは状態量であるから始めと終わりの状態にのみ依存し,途中の道すじには関係しない。 (エントロピーは状態量なので道すじによらない。 ) エントロピー変化の本質 ここで,周囲および全エントロピー変化を考えることにより,系の状態変化が可逆的か不可逆的かを判断する基準を示そう。 (エントロピーを導入する目的はここにある。 しかしながら この 熱量Qからはエントロピー変化 DS 系は計算できない。 実際のエントロピー変化 DS 系は状態変化が可逆過程で起こったとした場合の熱量Q revに対してQ rev/Tで表されるからである。 {周囲との熱の出入りがない場合(孤立系あるいは断熱系)} 系が状態変化を行うときに,周囲とエネルギー的(熱的)に遮断されていれば,Q=0であるから,系のエントロピーが変化しても,周囲のエントロピー変化は0である( DS 周囲=0)。 3.自由エネルギー 以上のことから,エントロピー変化 DS 全あるいは DS 系(孤立系)から変化の方向(不可逆過程)を判断する基準を得た。 ここで,状態Aから状態Bへの 不可逆変化に対する熱量Q,したがって DS 周囲および DS 全を求めることが困難あるいは不可能な場合がある。 このようなとき, DS 全を 系だけの性質として表すことができれば便利である。 実際にこれは,状態変化を 「定圧」下で起こると限定すれば可能となる。 これが 自由エネルギーとして導かれるものである。 このためには 両辺にTを掛けるだけでよい。 さきにエントロピーのところで説明したように, T DS 全が0なら可逆,正なら不可逆である。 エネルギーは高い方から低い方へ減少する方が安定と考えるのが自然である。 例えば,位置エネルギーがそうである。 これにならって,熱力学においても安定化の方向,すなわち 不可逆が進む方向をエネルギーが減少する方向と規定した方がよい(エネルギーT DS 全は増加する方向が不可逆であることに注意)。 自由エネルギーは系だけの性質である。 これによって,以下のように系の変化が議論できる。 DG=0 (可逆過程) DG<0 (不可逆過程) すなわち, 不可逆過程(自然に起こる変化)では,自由エネルギーは減少する。 DHは定圧下, DSは等温下で変化する状態量であるから,定圧・等温下での変化に対してのみ DGから変化の方向が判断できることに注意しよう。

次の